Kurs online Data Engineer jest przeznaczony dla programistów, administratorów DBMS i każdego, kto chce doskonalić swoje umiejętności, uczyć się nowych narzędzi i angażować w ciekawe zadania z zakresu pracy z dużymi danymi. Kurs nie jest dla początkujących - musisz przejść.
Mam 2 serwery terminali Windows Server 2008 R2 na mojej farmie, 25-30 osób aktywnie pracuje nad każdym z nich. Zaangażowany w normalne prace biurowe: tworzenie i edytowanie dokumentów w Microsoft Office 2010, praca z pocztą w Microsoft Outlook 2010, surfowanie po Internecie, praca z 1C: Enterprise 8.3 i inne drobiazgi biurowe. Są one obsługiwane przez 2 wystarczająco wydajne serwery z dwoma Xeonami z każdej strony, 32 GB pamięci RAM, kontroler RAID SAS z dyskami 10k i 15k.
Do czasu, gdy liczba użytkowników zbliżyła się do 30 na każdym serwerze, nie było żadnych konkretnych zahamowań, które przeszkadzałyby w normalnej pracy. Kiedy doszli do tej liczby, serwery zaczęły znacznie spowalniać irytujących użytkowników. Hamowanie wyrażone w opóźnieniach zwykłych operacji edycji, tworzenia, przenoszenia plików, nawigacji w folderach. Wszystko wydaje się działać, ale jakoś powoli, irytujące, czasami obraz zamarza na 1-2-3 sekundy, potem praca trwa.
Zaczął rozumieć, o co chodzi. Przede wszystkim pomyślałem o podsystemie dyskowym, który po prostu nie radził sobie z obciążeniem. Aby to sprawdzić, otworzył przystawkę „Wydajność”, dodał licznik „ Średnia długość kolejki dysków / s ”, wystąpienie „ _Total ” i zaczął monitorować. Moje potwierdzenie było poprawne. Średnia wartość wynosiła około 2-4, co jest złe. Hamulce zaczynają być odczuwalne przy wartościach od 1,5 i powyżej. Zalecenia w Internecie sugerują, że przy wartości powyżej 1 podsystem dyskowy nie radzi sobie z obciążeniem i trzeba coś zrobić, aby zwiększyć wydajność. W moim przypadku poprawa wydajności oznacza zakup nowych, dość drogich dysków SSD, ponieważ teraz są drogie i szybkie dyski SAS o prędkości obrotowej 15k.
Postanowiłem zrobić więcej testów. Wybrałem ten sam licznik, ale wziąłem 2 dyski logiczne oddzielnie jako instancję. Tutaj byłem zaskoczony. Okazuje się, że obciążenie nie było na wszystkich dyskach, ale tylko na partycji systemu logicznego C:, gdzie zainstalowany jest system operacyjny. Wszystkie dane użytkownika są przechowywane na dysku D: obciążenie w zakresie 0,2-0,5. Początkowo zakładałem coś przeciwnego. Pomyślałem, że sekcja z danymi użytkownika jest załadowana, gdzie przechowywane są wielobigabajtowe pliki PST programu Outlook, które są stale ładowane podczas pracy klienta poczty.
Warto mówić o poziomach raidu, których użyłem. Teraz stało się jasne, że niepoprawnie łamałem dyski, spodziewając się większego obciążenia partycji danymi użytkownika. Windows Server 2008 R2 jest zainstalowany na RAID-1 , składający się z dwóch dysków. Dane użytkownika znajdują się na macierzy RAID-5 składającej się z 4 dysków. Czego się kierowałem, kiedy rozbiłem dyski w ten sposób, teraz nie pamiętam, ale jest to oczywiście błędne. Myślę, że konieczne było stworzenie jednej wspólnej partycji RAID-10 lub RAID-6 , podzielenie jej na 2 logiczne i oddzielenie systemu od danych użytkownika. W ten sposób obciążenie wszystkich dysków będzie bardziej jednolite.
Głównym zadaniem było zmniejszenie obciążenia dysku systemowego. Po pierwsze, przenieś plik stronicowania z dysku systemowego na partycję użytkownika. Niewiele to pomogło, ponieważ jest wystarczająco dużo pamięci RAM, użycie pliku stronicowania było minimalne. Zacząłem patrzeć za pomocą monitora zasobów, który ładuje najbardziej podsystem dysku. Okazało się, że przeglądarki, w moim przypadku Internet Explorer i Google Chrome, a konkretnie ich pamięci podręczne. Zaczął myśleć, jak przenieść pamięć podręczną. W Chrome wszystko okazało się proste. W tym celu istnieją pliki ADM do zarządzania ustawieniami za pomocą zasad grupy domeny systemu Windows. Pobierz je tutaj https://support.google.com/chrome/a/answer/187202?hl=en
Następnie tworzymy nową politykę, dodajemy szablon ADM, znajdujemy ustawienie „ Określ katalog dla danych użytkownika ”, ustaw wartość „D: $ {nazwa_użytkownika} Dane aplikacji Chrome”. Po zastosowaniu tego ustawienia profil użytkownika z dysku C: zostanie przeniesiony na określoną ścieżkę. W tym samym miejscu ustawień wskazujemy maksymalny rozmiar folderu pamięci podręcznej: „ Ustaw pamięć podręczną dysku w bajtach ” równą 50 MB, ustaw wartość w bajtach na „52428800”.
W Internet Explorerze wszystko było bardziej skomplikowane. Nie mogłem znaleźć ustawienia w polityce grupy, które pozwala przenieść folder tymczasowych plików internetowych do innej lokalizacji. Była możliwość skorzystania z profilu mobilnego, ale nie chciałem się w to angażować dla takiego zadania. Znalazłem jedno ustawienie, które częściowo mogło mi pomóc w moim pytaniu: „Opróżnij folder tymczasowych plików internetowych, gdy przeglądarka jest zamknięta”. Włączono go, aby tymczasowe pliki internetowe były automatycznie czyszczone po zamknięciu przeglądarki. Chociaż skonfigurowałem folder „AppData (Roaming)” w obiekcie GPO, aby przenieść folder na inny dysk, a nie na dysk systemowy, niektóre ustawienia nadal nie są przesyłane i pozostają na dysku systemowym, w tym w folderze z tymczasowymi plikami internetowymi.
Te ustawienia zmniejszyły obciążenie partycji systemowej. Ponadto postanowiono zrezygnować z serwera Kaspersky Anti-Virus, którego potrzeba zniknęła. Wcześniej skonfigurowałem program Applocker na terminalach, aby zapobiec uruchomieniu dowolnych plików wykonywalnych. Użytkownicy mogą uruchamiać tylko ściśle ograniczony zestaw programów, więc nie mogliby się uruchomić, gdyby chcieli. Wyłączenie programu antywirusowego zmniejszyło obciążenie.
Obserwując dalsze obciążenie dysku, zauważyłem, że dziennik agenta systemu monitorowania Zabbix jest stale zapisywany w pliku dziennika. Okazało się, że po instalacji podczas debugowania wskazałem maksymalny poziom rejestrowania, co doprowadziło do ciągłego rejestrowania różnego rodzaju informacji w dzienniku. Stworzyło to przyzwoite obciążenie dysku, ponieważ na sekundę rejestrowano dużo informacji. Wyłączone dzienniki, ponieważ system był długo konfigurowany i debugowany, nie ma potrzeby rejestrowania.
Po wszystkich moich działaniach obciążenie dysku spadło do akceptowalnych wartości średniej długości kolejki 1-1,5. Użytkownicy odczuli poprawę prędkości, więc kwestia aktualizacji została odłożona na jakiś czas. Raczej konieczne jest całkowite zastąpienie serwera, a nie oddzielny dysk.
Kurs online Data Engineer jest przeznaczony dla programistów, administratorów DBMS i każdego, kto chce doskonalić swoje umiejętności, uczyć się nowych narzędzi i angażować w ciekawe zadania z zakresu pracy z dużymi danymi. Kurs nie jest dla początkujących - musisz zdać test wstępny. Absolwenci kursu będą mogli:
- Wdrażaj, dostosowuj i optymalizuj narzędzia do przetwarzania danych
- dostosowywać zestawy danych do dalszej pracy i analiz;
- tworzyć usługi, które wykorzystują wyniki przetwarzania dużych ilości danych;
- odpowiedzialny za architekturę danych w firmie.
Sprawdź się podczas testu wstępnego i zobacz program, aby uzyskać więcej szczegółów.
Czy artykuł pomógł? Istnieje możliwość dziękuję autor
Com/chrome/a/answer/187202?Czy artykuł pomógł?
