TMO, Facebook mehanizam koji štedi RAM na serverima

Facebook inženjeri su otkrili, kroz izvještaj, uvođenje tehnologije TMO (Transparent Memory Offloading) prošle godine, koji omogućava značajnu uštedu RAM-a na serverima premeštanjem sekundarnih podataka koji nisu potrebni za rad na jeftinijim diskovima kao što su NVMe SSD.

Facebook procjenjuje da TMO štedi između 20% i 32% RAM-a na svakom serveru. Rješenje je dizajnirano za korištenje u infrastrukturama gdje aplikacije rade u izoliranim kontejnerima. Komponente TMO-a na strani kernela oni su već uključeni u Linux kernel.

Na strani Linux kernela, operacija tehnologije obezbjeđuje PSI podsistem (Informacija o zastoju pritiska), isporučeno od verzije 4.20.

PSI već se koristi u raznim drajverima bez memorije i omogućava analizu informacija o vremenu čekanja za dobijanje različitih resursa (CPU, memorija, I/O). Sa PSI, procesori korisničkog prostora mogu preciznije procijeniti opterećenje sistema i obrasce usporavanja, omogućavajući otkrivanje anomalija prije nego što imaju primjetan utjecaj na performanse.

U korisničkom prostoru, Senpai komponenta pokreće TMO, koji dinamički prilagođava ograničenje memorije za kontejnere aplikacije putem cgroup2 na osnovu podataka primljenih od PSI-ja.

Senpai analizira znakove početka nedostatka resursa putem PSI-a, procjenjuje osjetljivost aplikacija na spor pristup memoriji i pokušava odrediti minimalnu potrebnu veličinu memorije za kontejner, u kojem podaci potrebni za posao ostaju u RAM-u, a srodni podaci koji su bili u kešu datoteka ili se trenutno ne koriste direktno, tjeraju se na swap particiju.

Transparent Memory Offload (TMO) je Metino rešenje za heterogena okruženja data centara. Uvodi novi mehanizam jezgre Linuxa koji mjeri gubitak posla zbog nedostatka resursa u CPU-u, memoriji i I/O u realnom vremenu. Vođen ovim informacijama i bez ikakvog prethodnog znanja o aplikaciji, TMO automatski prilagođava količinu memorije za pretovar na heterogeni uređaj, kao što je komprimirana memorija ili SSD. To radi na osnovu karakteristika performansi uređaja i osjetljivosti aplikacije na sporije pristupe memoriji.

Zbog toga, Suština TMO-a je da se procesi drže na "strogoj dijeti" u smislu potrošnje memorije, prisiljavajući neiskorištene memorijske stranice da se premjeste na swap particiju, čije uklanjanje ne utječe značajno na performanse (na primjer, stranice sa kodom koji se koristi samo tokom inicijalizacije i jednokratnim podacima keširanim na disku) . Za razliku od ispiranja podataka na swap particiju kao odgovor na malo memorije, TMO ispušta podatke na osnovu predviđanja predviđanja.

Odsustvo pristupa memorijskoj stranici u roku od 5 minuta se koristi kao jedan od kriterijuma za preferenciju. Ove stranice se nazivaju hladne stranice i u prosjeku čine oko 35% memorije aplikacije (u zavisnosti od vrste aplikacije, postoji varijacija od 19% do 65%).

Preferencija uzima u obzir aktivnosti povezane sa anonimnim stranicama memorije (memorija koju dodeljuje aplikacija) i memorija koja se koristi za keširanje datoteka (dodeljuje jezgro). U nekim aplikacijama anonimna memorija je glavna potrošnja, ali u drugim je keš memorija također vrlo važna.

Kako bi se izbjegao neravnoteža prilikom ispuštanja memorije u keš memoriju, TMO koristi novi algoritam stranica koji proporcionalno ispira anonimne stranice i stranice povezane s keš memorijom.

Guranje rijetko korištenih stranica u sporiju memoriju nema veliki utjecaj na performanse, ali može značajno smanjiti troškove hardvera. Podaci se šalju na SSD-ove ili komprimirani swap prostor u RAM-u. Po cijenu pohranjivanja jednog bajta podataka, korištenje NVMe SSD-a je do 10 puta jeftinije od korištenja kompresije na RAM-u.

Konačno, ako vas zanima više o tome, možete se obratiti detaljima Na sledećem linku.