DuckDB, stòr fosgailte DB air a chleachdadh le Google, Facebook agus Airbnb

O chionn ghoirid chaidh an dreach ùr de DuckDB 0.5.0 ainmeachadh, a tha na shiostam riaghlaidh stòr-dàta anailitigeach a tha a’ leasachadh (DBMS) air a chleachdadh le Google, Facebook, agus Airbnb.

DuckDB na shiostam stòr-dàta anailis àrd-choileanaidh. Tha e air a dhealbhadh gus a bhith luath, earbsach, agus furasta a chleachdadh. Tha DuckDB a’ toirt seachad dualchainnt beairteach de SQL, le taic fada seachad air SQL bunaiteach. Bidh DuckDB a’ toirt taic do fho-cheistean co-cheangailte neo-riaghailteach agus neadachaidh, gnìomhan uinneig, cruinneachaidh, seòrsachan iom-fhillte (arraighean, structaran), agus barrachd.

Am measg a phrìomh fheartan, tha na leanas a 'seasamh a-mach:

• Instalación sìmplidh
• Amalaichte: chan eil riaghladh frithealaiche ann
• Cruth stòraidh faidhle singilte
• Làimhseachadh anailis luath
• Gluasad luath eadar R/Python agus RDBMS
• Chan eil e an urra ri staid taobh a-muigh sam bith. Mar eisimpleir, faidhlichean rèiteachaidh fa leth, caochladair àrainneachd.
• Cruth stòraidh faidhle singilte
• Eadar-aghaidh co-dhèanta. Fileanta SQL Programmatic API
• Gu tur ACID tro MVCC

Mu DuckDB 0.5.0

Am measg nan rudan ùra tha “a-mach à cridhe”, a tha ag amas air fuasgladh fhaighinn air na duilgheadasan a dh’ fhaodadh èirigh nuair a tha an dàta a thathar a ’giullachd nas motha na a’ chuimhne le bhith a ’moladh toraidhean eadar-mheadhanach..

An dreach ùr a’ cleachdadh clàran-amais Adaptive Radix Tree (ART). gus cuingealachaidhean a chuir an sàs agus sìoltachain ceist a luathachadh. Gu ruige seo, cha robh clàran-amais seasmhach, a’ leantainn gu cùisean leithid call fiosrachadh clàr-amais agus amannan ath-luchdachadh fada airson clàran cuibhrichte le dàta.

ART is e oidhirp a th’ ann, gu dearbh, teannachadh dìreach is còmhnard a chuir an sàs gus structaran clàr-amais teann a chruthachadh. Is e rùintean structaran dàta coltach ri craobhan, far a bheil fiosrachadh mu chuid den t-seata dàta aig gach ìre den chraoibh. Mar as trice bidh iad air an sealltainn le sreathan caractar.

Chuir am pròiseact cuideachd optimization òrdugh ceangail ris, duilgheadas cumanta ann an stòran-dàta anailis. Thuirt Hyoun Park, Ceannard agus Prìomh Neach-sgrùdaidh aig Amalgam Insights, gu bheil eadar-dhealachadh DuckDB a ’tighinn bhon fhìrinn gur e tagradh beag a th’ ann a bhios ag obair taobh a-staigh sruthan obrach stèidhichte air còd gus stòran mòra dàta a sganadh gu sgiobalta.

“Gu tric faodaidh DuckDB ceistean a ruith gu dìreach air an dàta gun ghiollachd eadar-mheadhanach, a leasaicheas giollachd. Bho shealladh dìreach teicneòlach, tha e rudeigin coltach ri Actian Vector, a tha cuideachd a ’cleachdadh dòigh ceist OLAP vectorized colbh, ged a tha Actian air a dhealbhadh gus dàta fhaighinn seach a bhith ag obair air pròiseas no a’ luchdachadh obair shònraichte. »

Bidh DuckDB Labs a’ toirt seachad comhairle agus taic. Thuirt an co-stèidheadair agus an Ceannard Hannes Mühleisen, a cho-sgrìobh an còd agus a tha a’ cumail a’ phròiseict, gu robh e air a bhrosnachadh le SQLite, an einnsean stòr-dàta OLTP gun fhrithealaiche, far am faca e cothrom dòigh-obrach coltach ris, ach airson anailisean.

Bidh DuckDB cuideachd air a chleachdadh gu tric mar phàirt de chruach anailitigeach no riaghlaidh. dàta nas motha. Mar eisimpleir, ma thogas cuideigin tagradh àbhaisteach a bhios a’ cruinneachadh dàta agus an uairsin ag iarraidh eadar-aghaidh SQL a chruthachadh, bha aca ri lethbhreac a dhèanamh den dàta agus ga ghluasad gu siostam eile, a dh’ fhaodadh cùisean sioncronaidh adhbhrachadh, mhìnich e.

Luchdaich sìos agus faigh

Tha e cudromach a ràdh gu bheil an duilleag dachaigh ag ràdh gu soilleir nach bu chòir a chleachdadh airson “stàladh luchd-cleachdaidh / frithealaiche mòr airson stòradh dàta iomairt meadhanaichte”.

Tha am pròiseact ag obair air foillseachadh dreach 1.0, às deidh sin cha bhith e comasach tuilleadh atharrachaidhean a dhèanamh. Tha obair luchd-foghlaim an Ionaid airson Matamataig agus Saidheans Coimpiutaireachd Teòiridheach Centrum Wiskunde & Informatica ann an Amsterdam, DuckDB air fhilleadh a-steach do phròiseas aoigheachd, is fhiach a bhith mothachail nach eil bathar-bog frithealaiche DBMS ann airson a chuir a-steach, ùrachadh no a chumail suas.

Mar eisimpleir, faodaidh pasgan DuckDB Python ceistean a ruith gu dìreach air dàta bho leabharlann bathar-bog Python, gun a bhith a’ toirt a-steach no a’ dèanamh lethbhreac de dhàta. Tha DuckDB sgrìobhte ann an C ++, tha e an-asgaidh agus stòr fosgailte fo chead MIT.

Faodaidh tu barrachd ionnsachadh mu dheidhinn a bharrachd air sùil a thoirt air an leabhar-làimhe stàlaidh, Anns a ’cheangal a leanas.