Połysk Jest to rozproszony system plików Open Source, normalmente stosowane w klastrach na dużą skalę. Nazwa to mieszanka Linuksa i klastrów.
Projekt próbuje dostarczyć system plików dla klastrów dziesiątek tysięcy węzłów o pojemności petabajtów, bez uszczerbku dla szybkości i bezpieczeństwa, i jest dostępny na licencji GNU GPL.
Cluster File Systems to projektanci, programiści i opiekunowie Lustre przy wsparciu innych firm i osób.
O Lustrze
Wiele z najszybszych superkomputerów na świecie to klastry, które używają systemu plików Luster do przechowywania danych, takich jak systemy ORNL, PNNL, LLNL i LANL.
Ten system traktuje każdy plik przechowywany w systemie plików Luster jako obiekt. Luster wprowadza wszystkich klientów do standardowej semantyki POSIX i jednoczesnego dostępu do odczytu i zapisu dla obiektów współdzielonych. System plików Luster ma cztery jednostki funkcjonalne.
Są to serwer metadanych (MDS) do przechowywania metadanych; obiekt docelowy pamięci masowej (OST) do zapisywania rzeczywistych danych; serwer pamięci obiektowej (OSS) do zarządzania OST; dostęp klienta (ów) do danych i ich wykorzystanie.
OST to urządzenia blokowe. MDS, OSS i OST mogą znajdować się w tym samym węźle lub w różnych węzłach.
Luster nie zarządza bezpośrednio OST i przekazuje tę odpowiedzialność OSS w celu zapewnienia skalowalności dla dużych klastrów i superkomputerów.
W procesorze Massively Parallell Processor (MPP) procesory mogą uzyskać dostęp do systemu plików Luster, przekierowując swoje żądania we / wy do węzła z usługą uruchamiania zadań, jeśli jest ona skonfigurowana jako klient Luster.
Chociaż jest to najprostsza metoda, generalnie zapewnia słabą wydajność. Nieco bardziej skomplikowanym sposobem zapewnienia bardzo dobrej ogólnej wydajności jest użycie biblioteki libluster.
Libluster to biblioteka na poziomie użytkownika, która umożliwia procesorom montowanie i używanie systemu plików Luster jako klienta, z pominięciem przekierowania do węzła usługi.
Korzystając z libluster, procesory mogą uzyskać dostęp do systemu plików Luster, nawet jeśli węzeł usługi, na którym zadanie zostało uruchomione, nie jest klientem Luster.
Libluster zapewnia mechanizm przenoszenia danych bezpośrednio między przestrzenią aplikacji a Luster OSS bez konieczności kopiowania danych przez lekki rdzeń, uzyskując w ten sposób niskie opóźnienia i dużą przepustowość w bezpośrednim dostępie procesorów do systemu plików Luster.
Nowa wersja Lustre
Ostatnio została wydana nowa wersja Lustera 2.12, do której dodano kilka nowych funkcji, a przede wszystkim poprawki błędów dla niektórych różnych dystrybucji Linuksa, które są używane na superkomputerach.
Główne nowości Lustera 2.12
Dzięki tej nowej wersji dodano funkcję odstępów między istniejącymi dużymi katalogami rozproszonej przestrzeni nazw (DNE, Distributed Namespace) od jednego obiektu przechowywania metadanych (DTM, cele metadanych) do wielu (oddzielanie różnych segmentów DNE przez różne DTM).
Nowa funkcja upraszcza wprowadzanie nowych MDT dla istniejących FS i ręczne równoważenie obciążenia w MDT.
W przypadku repozytoriów metadanych (MDT) zaimplementowano tryb »Lazy Size«, który umożliwia szybkie zwrócenie przybliżonego rozmiaru zamiast dokładnego rozmiaru plików podczas bezpośredniego skanowania MDT za pomocą mechanizmu reguł w sytuacjach, w których szybkość jest ważniejsza niż precyzja.
W przypadku konfiguracji z wieloma interfejsami sieciowymi LNet w nowej wersji Lustre 2.12 dodano funkcję „LNet Network Health”, który implementuje opcję ponownego dostępu do RPC przez inny interfejs sieciowy w przypadku niepowodzenia przy pierwszym wysłaniu żądania.
Oprócz tego dodano obsługę serwera dla wersji RHEL 7.6 (3.10.0-957.el7) i SLES12 SP3 (4.4.162-94.69). Dodano obsługę klienta dla niezałatanych jąder RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) i Ubuntu 18.04 (4.15.0-32).