Facebookin insinöörit paljastivat, raportin kautta teknologian käyttöönottoa TMO (Transparent Memory Offloading) viime vuonna, mikä mahdollistaa huomattavasti RAM-muistin säästämisen palvelimilla siirtämällä toissijaisia tietoja, joita ei vaadita toimimaan halvemmilla asemilla, kuten NVMe SSD -levyillä.
Facebook arvioi, että TMO säästää 20–32 % kunkin palvelimen RAM-muistista. Ratkaisu on suunniteltu käytettäväksi infrastruktuureissa, joissa sovellukset toimivat eristetyissä säiliöissä. TMO:n ydinpuolen komponentit ne sisältyvät jo Linux-ytimeen.
Linux-ytimen puolella toiminta tekniikan PSI-alijärjestelmä tarjoaa (Pressure Stall Information), toimitettu versiosta 4.20 alkaen.
PSI käytetään jo useissa tyhjennetyissä ajureissa ja mahdollistaa tietojen analysoinnin eri resurssien (CPU, muisti, I/O) odotusajasta. PSI:n avulla käyttäjätilan prosessorit voivat arvioida tarkemmin järjestelmän kuormitusta ja hidastuskuvioita, jolloin poikkeamat voidaan havaita ennen kuin niillä on havaittavissa oleva vaikutus suorituskykyyn.
Käyttäjätilassa Senpai-komponentti ajaa TMO:ta, joka säätää dynaamisesti sovellussäiliöiden muistirajaa cgroup2:n kautta PSI:stä vastaanotettujen tietojen perusteella.
Senpai analysoi resurssipulan alkamisen merkkejä PSI:n kautta, arvioi sovellusten herkkyyden hidastaa muistin käyttöä ja yrittää määrittää vaaditun muistin vähimmäiskoon konttia varten, jossa työn vaatimat tiedot säilyvät RAM-muistissa ja siihen liittyvät tiedot, jotka ovat olleet tiedostovälimuistissa tai joita ei tällä hetkellä käytetä suoraan, pakotetaan swap-osioon.
Transparent Memory Offload (TMO) on Metan ratkaisu heterogeenisiin konesaliympäristöihin. Se esittelee uuden Linux-ytimen mekanismin, joka mittaa suorittimen, muistin ja I/O:n resurssipulan vuoksi menetettyä työtä reaaliajassa. Näiden tietojen ohjaamana ja ilman aiempaa tietoa sovelluksesta, TMO säätää automaattisesti heterogeeniseen laitteeseen, kuten pakattuun muistiin tai SSD-levyyn, siirrettävän muistin määrää. Se tekee tämän perustuen laitteen suorituskykyominaisuuksiin ja sovelluksen herkkyyteen hitaampiin muistin käyttöön.
Näin ollen, TMO:n ydin on pitää prosessit "tiukalla dieetillä" muistinkulutuksen suhteen, pakottaa käyttämättömät muistisivut siirtämään swap-osioon, jonka poistaminen ei vaikuta suorituskykyyn merkittävästi (esimerkiksi sivut, joiden koodia käytetään vain alustuksen aikana ja kertaluonteisia tietoja välimuistissa levylle) . Toisin kuin tietojen huuhtominen sivutusosioon vastauksena muistin vähiin, TMO huuhtelee tiedot ennakoivan ennusteen perusteella.
Muistisivun puuttumista 5 minuutin sisällä käytetään yhtenä valintakriteerinä. Näitä sivuja kutsutaan kylmäsivuiksi ja ne muodostavat keskimäärin noin 35 % sovelluksen muistista (sovelluksen tyypistä riippuen vaihtelu vaihtelee 19 %:sta 65 %:iin).
Asetus ottaa huomioon toiminnan, joka liittyy nimettömiin muistisivuihin (sovelluksen varaama muisti) ja tiedostojen välimuistiin (ytimen varaama) käytettävä muisti. Joissakin sovelluksissa anonyymi muisti on pääasiallinen kulutus, mutta toisissa myös tiedostovälimuisti on erittäin tärkeä.
Välttääkseen epätasapainon tyhjennettäessä muistia välimuistiin TMO käyttää uutta sivutusalgoritmia, joka huuhtelee anonyymit sivut ja tiedostovälimuistiin liittyvät sivut suhteellisesti.
Harvoin käytettyjen sivujen työntäminen muistin hidastamiseen ei vaikuta merkittävästi suorituskykyyn, mutta se voi vähentää merkittävästi laitteistokustannuksia. Tiedot lähetetään SSD-levyille tai pakattuun swap-tilaan RAM-muistissa. Yhden datatavun tallennuksen kustannuksella NVMe SSD -levyjen käyttö on jopa 10 kertaa halvempaa kuin RAM-muistin pakkaus.
Lopuksi, jos haluat tietää enemmän siitä, voit tutustua yksityiskohtiin Seuraavassa linkissä.
Voiko tätä käyttää tavallisissa tietokoneissa tavallisilla sovelluksilla?