Facebook inženieri atklāja, izmantojot ziņojumu, tehnoloģiju ieviešanu TMO (Transparent Memory Offloading) pagājušajā gadā, kas ļauj ievērojami ietaupīt RAM serveros pārvietojot sekundāros datus, kas nav nepieciešami, lai strādātu ar lētākiem diskdziņiem, piemēram, NVMe SSD.
Facebook lēš, ka TMO ietaupa no 20% līdz 32% RAM katrā serverī. Risinājums ir paredzēts izmantošanai infrastruktūrās, kur lietojumprogrammas darbojas izolētos konteineros. TMO kodola puses komponenti tie jau ir iekļauti Linux kodolā.
Linux kodola pusē darbība tehnoloģiju nodrošina PSI apakšsistēma (Spiediena apstāšanās informācija), tiek piegādāta no versijas 4.20.
PSI jau tiek izmantots dažādos bezatmiņas draiveros un ļauj analizēt informāciju par gaidīšanas laiku dažādiem resursiem (CPU, atmiņa, I/O). Izmantojot PSI, lietotāja telpas procesori var precīzāk novērtēt sistēmas slodzes un palēninājuma modeļus, ļaujot atklāt anomālijas, pirms tām ir manāma ietekme uz veiktspēju.
Lietotāju telpā Senpai komponents palaiž TMO, kas dinamiski pielāgo atmiņas ierobežojumu lietojumprogrammu konteineriem, izmantojot cgroup2, pamatojoties uz datiem, kas saņemti no PSI.
Senpai analizē resursu trūkuma sākuma pazīmes izmantojot PSI, novērtē lietojumprogrammu jutīgumu pret lēnu piekļuvi atmiņai un mēģina noteikt minimālo nepieciešamo atmiņas apjomu konteineram, kurā darbam nepieciešamie dati paliek RAM, un saistītie dati, kas atrodas failu kešatmiņā vai pašlaik netiek tieši izmantoti, tiek izspiesti mijmaiņas nodalījumā.
Transparent Memory Offload (TMO) ir Meta risinājums neviendabīgām datu centru vidēm. Tas ievieš jaunu Linux kodola mehānismu, kas reāllaikā mēra darbu, kas zaudēts CPU, atmiņas un I/O resursu trūkuma dēļ. Vadoties pēc šīs informācijas un bez jebkādām priekšzināšanām par lietojumprogrammu, TMO automātiski pielāgo atmiņas apjomu, lai to izlādētu uz neviendabīgu ierīci, piemēram, saspiestu atmiņu vai SSD. Tas tiek darīts, pamatojoties uz ierīces veiktspējas īpašībām un lietojumprogrammas jutīgumu pret lēnāku piekļuvi atmiņai.
Tāpēc, TMO būtība ir saglabāt procesus uz "stingras diētas" atmiņas patēriņa ziņā, liekot pārvietot neizmantotās atmiņas lapas uz mijmaiņas nodalījumu, kuras noņemšana būtiski neietekmē veiktspēju (piemēram, lapas ar kodu, kas tiek izmantots tikai inicializācijas laikā, un vienreizēji dati tiek saglabāti diskā). Atšķirībā no informācijas izskalošanas mijmaiņas nodalījumā, reaģējot uz nepietiekamu atmiņu, TMO izskalo datus, pamatojoties uz paredzamo prognozēšanu.
Kā viens no izvēles kritērijiem tiek izmantota piekļuves neesamība atmiņas lapai 5 minūšu laikā. Šīs lapas sauc par aukstajām lapām un vidēji tās aizņem aptuveni 35% no aplikācijas atmiņas (atkarībā no aplikācijas veida ir atšķirība no 19% līdz 65%).
Preferencē tiek ņemta vērā darbība, kas saistīta ar anonīmām atmiņas lapām (lietojumprogrammas piešķirtā atmiņa) un failu kešatmiņai izmantoto atmiņu (ko piešķir kodols). Dažās lietojumprogrammās galvenais patēriņš ir anonīmā atmiņa, bet citās ļoti svarīga ir arī failu kešatmiņa.
Lai izvairītos no nelīdzsvarotības, izskalojot atmiņu kešatmiņā, TMO izmanto jaunu peidžeru algoritmu, kas proporcionāli izskalo anonīmas lapas un lapas, kas saistītas ar faila kešatmiņu.
Reti izmantoto lapu pārsūtīšana, lai palēninātu atmiņu, būtiski neietekmē veiktspēju, taču tā var ievērojami samazināt aparatūras izmaksas. Dati tiek nosūtīti uz SSD vai saspiestu mijmaiņas vietu RAM. Par viena baita datu glabāšanas izmaksām NVMe SSD izmantošana ir līdz pat 10 reizēm lētāka nekā RAM saspiešana.
Visbeidzot, ja jūs interesē uzzināt vairāk par to, varat iepazīties ar informāciju Šajā saitē.
vai to var izmantot parastos datoros ar parastajām lietotnēm?