DuckDB 0.6.0 on nyt julkaistu ja sisältää parannuksia levyn kirjoittamiseen, tietojen lataamiseen ja paljon muuta.

DuckDB, Googlen, Facebookin ja Airbnb:n käyttämä tietokantajärjestelmä

DuckDB on kehitteillä oleva SQL OLAP -tietokannan hallintajärjestelmä

DBMS:n uuden version julkaisu julkistettiin DuckDB 0.6.0, versio, jossa tietojen pakkausta on parannettu, sen lisäksi, että uusia toimintoja on lisätty, sekä tallennusparannuksia mm.

DuckDB yhdistää SQLite-ominaisuudet kuten kompakti, kyky muodostaa yhteys integroidun kirjaston muodossa, tietokannan tallennus yhteen tiedostoon ja kätevä CLI-käyttöliittymä työkaluilla ja optimoinnilla analyyttisten kyselyiden suorittamiseen, jotka kattavat merkittävän osan tallennetusta tiedosta, esim. jotka yhdistävät kaiken taulukon sisällön tai yhdistävät useita suuria taulukoita.

DuckDB 0.6.0:n tärkeimmät uudet ominaisuudet

Tässä esitellyssä uudessa versiossa korostetaan sitä työ tallennusmuodon parantamiseksi jatkui, Sen lisäksi levyn kirjoitustila on otettu käyttöön, jossa kun suuri tietojoukko ladataan yhdessä tapahtumassa, tiedot pakataan ja suoratoistetaan tiedostoon tietokannasta odottamatta COMMIT-komentoa tapahtuman vahvistamiseksi.

Toinen uudessa versiossa erottuvista muutoksista on se lisätty tuki tietojen rinnakkaiselle lataamiselle erillisiin taulukoihin, mikä voi merkittävästi lisätä latausnopeutta moniytimisissä järjestelmissä. Esimerkiksi vanhassa versiossa 150 miljoonan rivin tietokannan lataaminen 10-ytimiseen suorittimeen kesti 91 sekuntia ja uudessa versiossa 17 sekuntia. On olemassa kaksi rinnakkaislataustapaa: tietuetilausten säilytys ja ilman tilauksen säilytystä.

Tietojen pakkaamiseen käytetään FSST-algoritmia (Staattiset symbolit -pikataulukko), jonka avulla voit pakata tietoja riveihin käyttämällä yleistä tyyppihakujen sanakirjaa. Uuden algoritmin soveltaminen mahdollisti testitietokannan koon pienentämisen 761 megatavusta 251 megatavuun.

Lukujen pakkaamiseen (DOUBLE ja FLOAT) ehdotetaan simpanssi- ja patas-algoritmeja. Edelliseen Gorillas-algoritmiin verrattuna Chimp tarjoaa korkeamman pakkaustason ja nopeamman dekompression. Patas-algoritmi jää jäljessä Chimpistä pakkaamisessa, mutta on huomattavasti nopeampi purkunopeudessa, mikä on suunnilleen sama kuin pakkaamattoman datan lukeminen.

Se erottuu myös siitä, että se lisättiin kokeellinen kyky ladata tietoja CSV-tiedostoista useissa rinnakkaisissa virroissa (SET experimental_parallel_csv=true), mikä lyhentää merkittävästi suurten CSV-tiedostojen latausaikaa. Esimerkiksi kun vaihtoehto oli käytössä, 720 Mt:n CSV-tiedoston latausaika lyheni 3,5 sekunnista 0,6 sekuntiin.

Muista muutoksista jotka erottuvat uudesta versiosta:

  • Mahdollisuus indeksin luonti- ja hallintatoimintojen rinnakkaiseen suorittamiseen on otettu käyttöön.
  • SQL tarjoaa mahdollisuuden muodostaa kyselyitä, jotka alkavat sanalla "FROM" sanan "SELECT" sijaan. Tässä tapauksessa kyselyn oletetaan alkavan "SELECT *".
  • Lisätty tuki "COLUMNS"-lausekkeelle SQL:ssä, mikä mahdollistaa toiminnon suorittamisen useille sarakkeille ilman lausekkeen kopioimista.
  • Optimoitu muistin kulutus. Oletusarvoisesti Linux-alustalla jemalloc-kirjastoa käytetään muistin hallintaan. Merkittävästi parantunut hajautustoimintojen suorituskyky, kun muisti on rajallinen.
  • Lisätty ".mode duckbox" -tulostustila CLI:hen, hylkäämällä keskisarakkeet pääteikkunan viivojen leveyden perusteella). Parametrilla ".maxrows X" voit myös rajoittaa tulosterivien määrää.
  • CLI tarjoaa kontekstitietoisen syötteen automaattisen täydennyksen (avainsanojen, taulukoiden, funktioiden, sarakkeiden ja tiedostojen nimien syöttö on valmis).
  • CLI on oletusarvoisesti käytössä näyttämään kyselyn edistymisen ilmaisin.

vihdoin jos olet kiinnostunut tietämään asiasta lisää, voit tarkistaa yksityiskohdat Seuraavassa linkissä.


Ole ensimmäinen kommentti

Jätä kommentti

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *

*

*

  1. Vastaa tiedoista: AB Internet Networks 2008 SL
  2. Tietojen tarkoitus: Roskapostin hallinta, kommenttien hallinta.
  3. Laillistaminen: Suostumuksesi
  4. Tietojen välittäminen: Tietoja ei luovuteta kolmansille osapuolille muutoin kuin lain nojalla.
  5. Tietojen varastointi: Occentus Networks (EU) isännöi tietokantaa
  6. Oikeudet: Voit milloin tahansa rajoittaa, palauttaa ja poistaa tietojasi.