DuckDB, Googlen, Facebookin ja Airbnb:n käyttämä avoimen lähdekoodin tietokanta

DuckDB, Googlen, Facebookin ja Airbnb:n käyttämä tietokantajärjestelmä

DuckDB on kehitteillä oleva SQL OLAP -tietokannan hallintajärjestelmä

äskettäin DuckDB 0.5.0:n uusi versio julkistettiin, joka on Googlen, Facebookin ja Airbnb:n käyttämä kehittyvä analytiikkatietokannan hallintajärjestelmä (DBMS).

DuckDB on korkean suorituskyvyn analyyttinen tietokantajärjestelmä. Se on suunniteltu nopeaksi, luotettavaksi ja helppokäyttöiseksi. DuckDB tarjoaa rikkaan SQL-murteen, joka tukee paljon perus-SQL:ää. DuckDB tukee mielivaltaisia ​​ja sisäkkäisiä korreloituja alikyselyjä, ikkunatoimintoja, lajitteluja, monimutkaisia ​​tyyppejä (taulukoita, rakenteita) ja paljon muuta.

Sen tärkeimmistä ominaisuuksista erottuvat seuraavat:

  • Instalación yksinkertainen
  • Integroitu: ei palvelimen hallintaa
  • Yhden tiedoston tallennusmuoto
  • Nopea analyyttinen käsittely
  • Nopea siirto R/Pythonin ja RDBMS:n välillä
  • Se ei ole riippuvainen mistään ulkoisesta tilasta. Esimerkiksi erilliset asetustiedostot, ympäristömuuttuja.
  • Yhden tiedoston tallennusmuoto
  • Kokoonpantava käyttöliittymä. Sujuva ohjelmallinen SQL-sovellusliittymä
  • Täysin ACID MVCC:n kautta

Tietoja DuckDB 0.5.0:sta

Uutuuksien joukossa on "out of core", joka pyrkii ratkaisemaan ongelmia, joita voi syntyä, kun käsiteltävä data on suurempi kuin muisti, ehdottamalla välituloksia.

Uusi versio käyttää Adaptive Radix Tree (ART) -indeksejä käyttää rajoituksia ja nopeuttaa kyselysuodattimia. Toistaiseksi indeksit eivät olleet pysyviä, mikä johti ongelmiin, kuten indeksitietojen menettämiseen ja pitkiin tietorajoitteisten taulukoiden uudelleenlatausaikaan.

ART se on pohjimmiltaan yritys käyttää pysty- ja vaakasuuntaista pakkausta kompaktien indeksirakenteiden luomiseksi. Intentit ovat puumaisia ​​tietorakenteita, joissa jokainen puun taso sisältää tietoa jostakin tietojoukon osasta. Ne on yleensä kuvattu merkkijonoilla.

Projektiin lisättiin myös liittymistilausten optimointi, yleinen ongelma analyyttisissa tietokannoissa. Hyoun Park, Amalgam Insightsin toimitusjohtaja ja pääanalyytikko, sanoi, että DuckDB:n ero johtuu siitä, että se on pieni sovellus, joka toimii koodipohjaisissa työnkuluissa ja skannaa nopeasti suuria tietovarastoja.

"DuckDB voi usein suorittaa kyselyitä suoraan tiedoista ilman välikäsittelyä, mikä parantaa käsittelyä. Puhtaasti teknologisesta näkökulmasta katsottuna se on jossain määrin samanlainen kuin Actian Vector, joka käyttää myös sarakevektorimuotoista OLAP-kyselyä, vaikka Actian on suunniteltu noutamaan tietoja sen sijaan, että se käsittelee prosessia tai lataa tiettyä työtä. »

DuckDB Labs tarjoaa neuvoja ja tukea. Toinen perustaja ja toimitusjohtaja Hannes Mühleisen, joka myös kirjoitti koodin ja ylläpitää projektia, sanoi saaneensa inspiraationsa SQLitesta, palvelimettomasta OLTP-tietokantamoottorista, jossa hän näki mahdollisuuden samanlaiseen lähestymistapaan, mutta analytiikkaan.

DuckDB:tä käytetään usein myös osana analytiikka- tai hallintapinoa. suurempia tietoja. Jos esimerkiksi joku rakentaa mukautetun sovelluksen, joka kerää tietoja ja haluaa sitten luoda SQL-rajapinnan, hänen oli ensin kopioitava tiedot ja siirrettävä se toiseen järjestelmään, mikä voi aiheuttaa synkronointiongelmia, hän selitti.

Lataa ja hanki

On tärkeää mainita, että kotisivulla todetaan selkeästi, että sitä ei tule käyttää "suuriin asiakas/palvelinasennuksiin keskitettyyn yritystietojen tallentamiseen".

Projekti työskentelee version 1.0 julkaisun parissa, jonka jälkeen muutoksia ei enää voi tehdä. Amsterdamin matematiikan ja teoreettisen tietojenkäsittelytieteen keskuksen Centrum Wiskunde & Informatican tutkijoiden teokset DuckDB on integroitu isäntäprosessiin, on syytä huomata, että DBMS-palvelinohjelmistoa ei asenneta, päivitettävä tai ylläpidettävä.

Esimerkiksi DuckDB Python-paketti voi suorittaa kyselyitä suoraan Python-ohjelmistokirjaston tiedoista ilman tietojen tuontia tai kopioimista. DuckDB on kirjoitettu C++-kielellä, ja se on ilmainen ja avoimen lähdekoodin MIT-lisenssillä.

Saat lisätietoja siitä sekä tutustu asennusoppaaseen, Seuraavassa linkissä.


Jätä kommentti

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *

*

*

  1. Vastaa tiedoista: AB Internet Networks 2008 SL
  2. Tietojen tarkoitus: Roskapostin hallinta, kommenttien hallinta.
  3. Laillistaminen: Suostumuksesi
  4. Tietojen välittäminen: Tietoja ei luovuteta kolmansille osapuolille muutoin kuin lain nojalla.
  5. Tietojen varastointi: Occentus Networks (EU) isännöi tietokantaa
  6. Oikeudet: Voit milloin tahansa rajoittaa, palauttaa ja poistaa tietojasi.