Inženýři Facebooku odhalili, prostřednictvím zprávy, zavedení technologie TMO (Transparent Memory Offloading) v loňském roce, který umožňuje výrazně šetřit RAM na serverech přesunem sekundárních dat, která nejsou nutná pro práci na levnějších discích, jako jsou NVMe SSD.
facebook odhaduje, že TMO ušetří mezi 20 % a 32 % RAM na každém serveru. Řešení je navrženo pro použití v infrastrukturách, kde aplikace běží v izolovaných kontejnerech. Komponenty TMO na straně jádra jsou již součástí linuxového jádra.
Na straně linuxového jádra operace technologie zajišťuje subsystém PSI (Informace o zastavení tlaku), dodávané od verze 4.20.
PSI se již používá v různých ovladačích s nedostatkem paměti a umožňuje analyzovat informace o době čekání na různé zdroje (CPU, paměť, I/O). S PSI mohou procesory uživatelského prostoru přesněji posoudit zatížení systému a vzorce zpomalení, což umožňuje detekovat anomálie dříve, než budou mít znatelný dopad na výkon.
V uživatelském prostoru spouští komponenta Senpai TMO, který dynamicky upravuje limit paměti pro aplikační kontejnery prostřednictvím cgroup2 na základě dat přijatých z PSI.
Senpai analyzuje známky počínajícího nedostatku zdrojů přes PSI, vyhodnocuje citlivost aplikací na pomalý přístup do paměti a se snaží určit minimální velikost požadované paměti pro kontejner, ve kterém data požadovaná pro úlohu zůstávají v paměti RAM a související data, která byla uložena v mezipaměti souborů nebo nejsou aktuálně přímo používána, jsou vytlačena do odkládacího oddílu.
Transparent Memory Offload (TMO) je řešení společnosti Meta pro heterogenní prostředí datových center. Zavádí nový mechanismus linuxového jádra, který v reálném čase měří ztracenou práci kvůli nedostatku zdrojů v CPU, paměti a I/O. Na základě těchto informací a bez jakékoli předchozí znalosti aplikace TMO automaticky upraví množství paměti, která se má přenést na heterogenní zařízení, jako je komprimovaná paměť nebo SSD. Dělá to na základě výkonnostních charakteristik zařízení a citlivosti aplikace na pomalejší přístupy do paměti.
Proto, podstatou TMO je držet procesy na „přísné dietě“ z hlediska spotřeby paměti, vynucující přesun nevyužitých stránek paměti do odkládacího oddílu, jehož odstranění nijak výrazně neovlivní výkon (například stránky s kódem použitým pouze při inicializaci a jednorázově uloženými daty na disku) . Na rozdíl od vyprázdnění informací do odkládacího oddílu v reakci na nedostatek paměti TMO vyprázdní data na základě prediktivní predikce.
Absence přístupu na paměťovou stránku do 5 minut se používá jako jedno z preferenčních kritérií. Tyto stránky se nazývají studené stránky a v průměru tvoří asi 35 % paměti aplikace (v závislosti na typu aplikace je odchylka od 19 % do 65 %).
Předvolba bere v úvahu aktivitu spojenou s anonymními stránkami paměti (paměť přidělená aplikací) a pamětí používanou pro ukládání souborů do mezipaměti (přidělenou jádrem). V některých aplikacích je hlavní spotřebou anonymní paměť, ale v jiných je velmi důležitá také mezipaměť souborů.
Aby se předešlo nerovnováze při vyprázdnění paměti do mezipaměti, TMO používá nový stránkovací algoritmus, který proporcionálně vyprázdní anonymní stránky a stránky spojené s mezipamětí souborů.
Přesunutí málo používaných stránek do pomalejší paměti nemá velký dopad na výkon, ale může výrazně snížit náklady na hardware. Data jsou odesílána na SSD nebo komprimovaný odkládací prostor v RAM. Za cenu uložení jednoho bajtu dat je použití NVMe SSD až 10krát levnější než použití komprese na RAM.
Konečně, pokud máte zájem dozvědět se o tom více, můžete konzultovat podrobnosti Na následujícím odkazu.
lze to použít na normálních počítačích s normálními aplikacemi?