TMO, Facebooki mehhanism, mis salvestab serverites RAM-i

Facebooki insenerid avalikustasid, aruande kaudu tehnoloogia kasutuselevõtt TMO (Transparent Memory Offloading) eelmisel aastal, mis võimaldab serverites oluliselt säästa RAM-i teisaldades sekundaarseid andmeid, mida pole vaja odavamatel draividel, näiteks NVMe SSD-del, töötamiseks.

Facebook hinnanguliselt säästab TMO iga serveri RAM-ist 20–32%. Lahendus on mõeldud kasutamiseks infrastruktuurides, kus rakendused töötavad isoleeritud konteinerites. TMO tuumapoolsed komponendid need on juba Linuxi kernelis.

Linuxi kerneli poolel toiming tehnoloogia pakub PSI alamsüsteem (Pressure Stall Information), esitatud alates versioonist 4.20.

PSI on juba kasutusel mitmesugustes tühjaks jäänud draiverites ning võimaldab analüüsida infot erinevate ressursside (CPU, mälu, I/O) ooteaja kohta. PSI abil saavad kasutajaruumi protsessorid täpsemalt hinnata süsteemi koormus- ja aeglustusmustreid, võimaldades avastada kõrvalekaldeid enne, kui need jõudlusele märgatavat mõju avaldavad.

Kasutajaruumis töötab Senpai komponent TMO-d, mis kohandab dünaamiliselt rakenduse konteinerite mälupiirangut cgroup2 kaudu PSI-lt saadud andmete põhjal.

Senpai analüüsib ressursipuuduse alguse märke PSI kaudu, hindab rakenduste tundlikkust aeglasele mälule juurdepääsule ja püüab määrata minimaalse vajaliku mälumahu konteineri puhul, milles tööks vajalikud andmed jäävad RAM-i ja sellega seotud andmed, mis on olnud faili vahemälus või mida hetkel otseselt ei kasutata, sunnitakse välja vahetussektsiooni.

Transparent Memory Offload (TMO) on Meta lahendus heterogeensete andmekeskuste keskkondade jaoks. See tutvustab uut Linuxi tuumamehhanismi, mis mõõdab reaalajas tööd, mis on kadunud protsessori, mälu ja sisendi/väljundi nappuse tõttu. Sellest teabest juhindudes ja ilma rakendusest eelnevate teadmisteta kohandab TMO automaatselt heterogeensele seadmele (nt tihendatud mälule või SSD-le) laaditava mälumahtu. See põhineb seadme jõudlusnäitajatel ja rakenduse tundlikkusel aeglasema mälupöörduse suhtes.

Seetõttu TMO olemus seisneb protsesside hoidmises mälutarbimise mõttes "rangel dieedil"., sundides kasutamata mälulehti teisaldama vahetussektsiooni, mille eemaldamine jõudlust märgatavalt ei mõjuta (näiteks lehed, mille koodi kasutatakse ainult lähtestamisel ja ühekordsed andmed on kettale vahemällu salvestatud) . Erinevalt teabe loputamisest vahetuspartitsioonile vastuseks vähesele mälule, loputab TMO andmeid ennustava ennustuse alusel.

Ühe eelistuse kriteeriumina kasutatakse mälulehe juurdepääsu puudumist 5 minuti jooksul. Neid lehti nimetatakse külmlehtedeks ja keskmiselt moodustavad need umbes 35% rakenduse mälust (olenevalt rakenduse tüübist on kõikumine 19% kuni 65%).

Eelistus võtab arvesse tegevusi, mis on seotud anonüümsete mälulehtedega (rakenduse eraldatud mälu) ja failide vahemällu salvestamiseks kasutatava mäluga (jaotab kernel). Mõnes rakenduses tarbib põhiliselt anonüümmälu, kuid teistes on väga oluline ka faili vahemälu.

Tasakaalustamatuse vältimiseks mälu vahemällu tühjendamisel kasutab TMO uut otsingualgoritmi, mis loputab proportsionaalselt anonüümseid lehti ja faili vahemäluga seotud lehti.

Harva kasutatavate lehtede mälu aeglasemaks lükkamine ei avalda jõudlusele suurt mõju, kuid võib riistvarakulusid märkimisväärselt vähendada. Andmed saadetakse SSD-dele või RAM-i tihendatud vahetusruumile. Ühe baidi andmete salvestamise hinnaga on NVMe SSD-de kasutamine kuni 10 korda odavam kui RAM-i tihendamine.

Lõpuks, kui olete huvitatud sellest rohkem teada saama, saate üksikasju vaadata Järgmisel lingil.