DuckDB je SQL OLAP sustav za upravljanje bazom podataka u izradi
Najavila je pokretanje nova verzija DuckDB 0.9.0 s kodnim imenom “Undulata” u čast žutokljune patke porijeklom iz Afrike. Novo izdanje ističe se po tome što uključuje raspršivanje izvan jezgre, poboljšanja izvedbe hash agregata, poboljšanja performansi i više.
DuckDB kombiniraju SQLite svojstva kao što su kompaktnost, mogućnost povezivanja u obliku integrirane knjižnice, pohranjivanje baze podataka u jednu datoteku i prikladno CLI sučelje, s alatima i optimizacijama za izvođenje analitičkih upita koji pokrivaju značajan dio pohranjenih podataka, na primjer, koji vrše agregaciju svih sadržaja tablica ili spajaju više velikih tablica.
Glavne nove značajke DuckDB 0.9.0 “Undulata”
Jedna od glavnih novih značajki nove verzije DuckDB 0.9.0 možda je poboljšanje performansi s raspršivanjem izvan jezgre, od sada prilikom dodavanja velikih skupova podataka prilikom obrade upita. Spomenuto je da korištenjem mehanizma za izvršavanje strujanja i upravitelja međuspremnika DuckDB podržava mnoge operacije na skupovima podataka koji premašuju memoriju.
U ovoj verziji, podrška za rasipanje diska dodatno je proširena podržavajući out-of-core hash agregate. Što rješava problem prekida operacije zbog nedostatka memorije u situacijama kada podaci korišteni za dodavanje hash tablice ne stanu u RAM.
Još jedna novost koja se ističe je da je podrška za sažimanje nizova i brojčanih vrsta cijeli brojevi neposredno prije nego što podaci uđu u grupirane operatore sortiranja i združivanja što je značajno smanjilo potrošnju memorije.
Osim ovoga, možemo pronaći i automatsko učitavanje pouzdanih proširenja i po izboru će se instalirati kada se koristi u upitu. Spomenuto je da je skup proširenja za automatsko učitavanje ograničen na službena proširenja koja distribuira DuckDB Labs.
Govoreći o proširenjima, također u DuckDB 0.9.0 “Undulata” a dodatak za AWS koji pruža mogućnosti koje koriste AWS SDK. Ovo proširenje sadrži funkciju "LOAD_AWS_CREDENTIALS" koju AWS koristi za automatsko dobivanje i konfiguriranje vjerodajnica.
Također u ovoj verziji je dodan podrška za učitava proširenja za DuckDB-WASM. Prethodno je svako proširenje koje ste htjeli koristiti s WASM klijentom moralo biti integrirano. S ovom verzijom, ekstenzije se mogu učitavati dinamički. Kada se proširenje učita, WASM paket se preuzima i funkcionalnost proširenja je omogućena.
Od ostalih promjena koji se ističu u ovoj novoj verziji:
- Omogućeno je automatsko čišćenje cijelih grupa redaka prilikom izvođenja operacije DELETE. Opcija skraćivanja datoteke baze podataka (smanjenje njezine veličine) nakon brisanja podataka također je implementirana ako su izbrisane grupe redaka bile na kraju datoteke.
- Poboljšana je učinkovitost pohranjivanja ART indeksa koji se koriste za provjeru jedinstvenosti ili primarnih i stranih ključeva. Na primjer, u usporedbi s prethodnom verzijom, veličina testnog indeksa smanjena je s 278 MB na 78 MB.
- Popravite regresiju i popravite mehanizam gumice
- Ispravljena pogreška segmentacije prilikom dodavanja podataka popisu
- ART testiranje i benchmark refactoring
- Povećano ograničenje memorije u testu kako bi se izbjegli nedeterministički kvarovi IC-a
- Dodan je eksperimentalni dodatak za čitanje podataka iz Azure pohrane. Ovo proširenje omogućuje DuckDB-u izvorno čitanje podataka pohranjenih u Azureu, slično kao što može čitati podatke pohranjene u S3.
- Konfiguracija Jemalloca, plus alokator međuspremnika i uklanjanje suvišne kopije niza u rječniku parketa
- Klijent je dodao eksperimentalnu podršku za PySpark API.
- Dodan je eksperimentalni dodatak za čitanje tablica u formatu Apache Iceberg.
- Julia ažuriranje na 0.8.1
- Dodan conn.interrupt() u DuckDB Python API
- Popravak zamijenjenih parametara x/y regresije
konačno ako jesi zainteresiran za saznanje više o tome, možete provjeriti detalje U sljedećem linku.