DuckDB ir SQL OLAP datu bāzes pārvaldības sistēma, kas tiek veidota
Tika paziņots par DBVS jaunās versijas izlaišanu DuckDB 0.6.0, versija, kurā ir uzlabota datu saspiešana, papildus tam, ka ir pievienotas jaunas funkcijas, kā arī krātuves uzlabojumi, cita starpā.
DuckDB apvienot SQLite rekvizītus piemēram, kompaktums, iespēja pieslēgties integrētas bibliotēkas veidā, datu bāzes glabāšana vienā failā un ērts CLI interfeiss ar rīkiem un optimizācijām analītisko vaicājumu veikšanai, kas aptver ievērojamu daļu saglabāto datu, piemēram, , kas veic visa tabulas satura apkopošanu vai apvieno vairākas lielas tabulas.
Galvenās DuckDB 0.6.0 jaunās funkcijas
Šajā jaunajā versijā, kas tiek prezentēta, ir uzsvērts, ka turpinājās darbs pie uzglabāšanas formāta uzlabošanas, Bez tam ir ieviests diska rakstīšanas režīms, kur vienā darījumā ielādējot lielu datu kopu, dati tiek saspiesti un straumēti failā no datu bāzes, negaidot, kamēr COMMIT komanda veiks transakciju.
Vēl viena no izmaiņām, kas izceļas jaunajā versijā, ir tā pievienots atbalsts paralēlai datu ielādei atsevišķās tabulās, kas var ievērojami palielināt ielādes ātrumu daudzkodolu sistēmās. Piemēram, vecajā versijā datu bāzes ielāde ar 150 miljoniem rindu uz 10 kodolu CPU aizņēma 91 sekundi, bet jaunajā versijā šī darbība aizņem 17 sekundes. Ir divi paralēlās ielādes režīmi: ar ieraksta pasūtījuma saglabāšanu un bez pasūtījuma saglabāšanas.
Datu saspiešanai tiek izmantots FSST algoritms (Static Symbols Quick Table), kas ļauj iesaiņot datus rindās, izmantojot parasto veidu atbilstības vārdnīcu. Jaunā algoritma pielietojums ļāva samazināt testa datu bāzes izmēru no 761 MB uz 251 MB.
Lai saspiestu skaitļus (DOUBLE un FLOAT), tiek piedāvāti Chimp un Patas algoritmi. Salīdzinot ar iepriekšējo Gorillas algoritmu, Chimp nodrošina augstāku saspiešanas līmeni un ātrāku dekompresiju. Patas algoritms saspiešanas ziņā atpaliek no Chimp, bet ir ievērojami ātrāks dekompresijas ātrumā, kas ir aptuveni tāds pats kā nesaspiestu datu lasīšana.
Izceļas arī tas, ka tas tika pievienots eksperimentāla iespēja ielādēt datus no CSV failiem vairākās paralēlās straumēs (SET experimental_parallel_csv=true), kas ievērojami samazina lielu CSV failu ielādes laiku. Piemēram, kad šī opcija bija iespējota, 720 MB CSV faila lejupielādes laiks tika samazināts no 3,5 sekundēm līdz 0,6 sekundēm.
No pārējām izmaiņām kas izceļas no šīs jaunās versijas:
- Ir ieviesta iespēja paralēli veikt indeksa izveides un pārvaldības operācijas.
- SQL nodrošina iespēju veidot vaicājumus, kas sākas ar vārdu "FROM", nevis "SELECT". Šajā gadījumā tiek pieņemts, ka vaicājums sākas ar "SELECT *".
- Pievienots atbalsts izteiksmei "COLUMNS" SQL, ļaujot veikt darbību vairākās kolonnās, nedublējot izteiksmi.
- Optimizēts atmiņas patēriņš. Pēc noklusējuma Linux platformā atmiņas pārvaldībai tiek izmantota jemalloc bibliotēka. Ievērojami uzlabota jaukšanas sapludināšanas darbību veiktspēja, ja atmiņa ir ierobežota.
- CLI ir pievienots izvades režīms ".mode duckbox", atmetot centrālās kolonnas, pamatojoties uz termināļa loga līniju platumu). Izmantojot parametru ".maxrows X", varat arī ierobežot izvades rindu skaitu.
- CLI nodrošina konteksta apzinātu ievades automātisko pabeigšanu (atslēgvārdu, tabulu nosaukumu, funkciju, kolonnu nosaukumu un failu nosaukumu ievade ir pabeigta).
- CLI pēc noklusējuma ir iespējots, lai parādītu vaicājuma norises indikatoru.
beidzot, ja esi interesē uzzināt vairāk par to, varat pārbaudīt informāciju Šajā saitē.