Το DuckDB είναι ένα σύστημα διαχείρισης βάσεων δεδομένων SQL OLAP υπό κατασκευή
Ανακοίνωσε την έναρξη της νέα έκδοση του DuckDB 0.9.0 με κωδικό όνομα "Undulata" προς τιμήν της κίτρινης πάπιας που κατάγεται από την Αφρική. Η νέα έκδοση ξεχωρίζει για το ότι περιλαμβάνει κατακερματισμό εκτός πυρήνα, βελτιώσεις απόδοσης συγκεντρωτικών κατακερματισμών, βελτιώσεις απόδοσης και πολλά άλλα.
DuckDB συνδυάζουν ιδιότητες SQLite όπως συμπαγής, δυνατότητα σύνδεσης με τη μορφή ολοκληρωμένης βιβλιοθήκης, αποθήκευση της βάσης δεδομένων σε ένα μόνο αρχείο και βολική διεπαφή CLI, με εργαλεία και βελτιστοποιήσεις για την εκτέλεση αναλυτικών ερωτημάτων που καλύπτουν σημαντικό μέρος των αποθηκευμένων δεδομένων, για παράδειγμα, που πραγματοποιούν συνάθροιση όλων των περιεχομένων του πίνακα ή συγχωνεύουν πολλούς μεγάλους πίνακες.
Κύρια νέα χαρακτηριστικά του DuckDB 0.9.0 "Undulata"
Ένα από τα κύρια νέα χαρακτηριστικά της νέας έκδοσης του DuckDB 0.9.0 είναι ίσως το βελτίωση της απόδοσης με κατακερματισμό Out-Of-Core, από τώρα κατά την προσθήκη μεγάλων συνόλων δεδομένων κατά την επεξεργασία ερωτημάτων. Αναφέρεται ότι χρησιμοποιώντας μια μηχανή εκτέλεσης ροής και έναν διαχειριστή buffer, το DuckDB υποστηρίζει πολλές λειτουργίες σε σύνολα δεδομένων που υπερβαίνουν τη μνήμη.
Σε αυτή την έκδοση, το Η υποστήριξη εκχύσεως δίσκου επεκτείνεται περαιτέρω υποστηρίζοντας συγκεντρωτικά στοιχεία κατακερματισμού εκτός πυρήνα. Αυτό λύνει το πρόβλημα του τερματισμού της λειτουργίας λόγω έλλειψης μνήμης σε καταστάσεις όπου τα δεδομένα που χρησιμοποιούνται για την προσθήκη του πίνακα κατακερματισμού δεν χωρούν στη μνήμη RAM.
Μια άλλη καινοτομία που ξεχωρίζει είναι ότι το υποστήριξη για συμπίεση συμβολοσειρών και τύπων αριθμών ακέραιοι λίγο πριν τα δεδομένα εισέλθουν στους τελεστές ομαδοποιημένης ταξινόμησης και συγκέντρωσης, γεγονός που έχει μειώσει σημαντικά την κατανάλωση μνήμης.
Εκτός από αυτό, μπορούμε επίσης να βρούμε το αυτόματη φόρτωση αξιόπιστων επεκτάσεων και θα εγκατασταθεί προαιρετικά όταν χρησιμοποιείται σε ένα ερώτημα. Αναφέρεται ότι το σύνολο των επεκτάσεων αυτόματης φόρτωσης περιορίζεται στις επίσημες επεκτάσεις που διανέμονται από την DuckDB Labs.
Μιλώντας για επεκτάσεις, επίσης στο DuckDB 0.9.0 "Undulata" α πρόσθετο για AWS που παρέχει δυνατότητες που χρησιμοποιούν το AWS SDK. Αυτή η επέκταση περιέχει μια συνάρτηση "LOAD_AWS_CREDENTIALS" που χρησιμοποιείται από το AWS για αυτόματη λήψη και διαμόρφωση διαπιστευτηρίων.
Επίσης σε αυτή την έκδοση προστίθεται υποστήριξη για επεκτάσεις με δυνατότητα φόρτωσης στο DuckDB-WASM. Προηγουμένως, οποιαδήποτε επέκταση θέλετε να χρησιμοποιήσετε με τον πελάτη WASM έπρεπε να ενσωματωθεί. Με αυτήν την έκδοση, οι επεκτάσεις μπορούν να φορτωθούν δυναμικά. Όταν φορτώνεται μια επέκταση, γίνεται λήψη του πακέτου WASM και ενεργοποιείται η λειτουργικότητα της επέκτασης.
Από τις άλλες αλλαγές που ξεχωρίζουν από αυτήν τη νέα έκδοση:
- Ενεργοποιήθηκε η αυτόματη εκκαθάριση ολόκληρων ομάδων σειρών κατά την εκτέλεση μιας λειτουργίας DELETE. Η επιλογή περικοπής του αρχείου βάσης δεδομένων (μείωση του μεγέθους του) μετά τη διαγραφή δεδομένων εφαρμόζεται επίσης εάν οι διαγραμμένες ομάδες γραμμών βρίσκονταν στο τέλος του αρχείου.
- Βελτιώθηκε η αποτελεσματικότητα της αποθήκευσης ευρετηρίων ART που χρησιμοποιούνται για την επαλήθευση της μοναδικότητας ή των πρωτευόντων και ξένων κλειδιών. Για παράδειγμα, σε σύγκριση με την προηγούμενη έκδοση, το μέγεθος του ευρετηρίου δοκιμής μειώθηκε από 278 MB σε 78 MB.
- Διορθώστε την παλινδρόμηση και διορθώστε τον μηχανισμό γόμας
- Διορθώθηκε το σφάλμα τμηματοποίησης κατά την προσθήκη δεδομένων λίστας
- Δοκιμές ART και ανακατασκευή σημείων αναφοράς
- Αυξημένο όριο μνήμης στη δοκιμή για την αποφυγή μη ντετερμινιστικών βλαβών IC
- Προστέθηκε μια πειραματική προσθήκη για την ανάγνωση δεδομένων από τον χώρο αποθήκευσης Azure. Αυτή η επέκταση επιτρέπει στο DuckDB να διαβάζει εγγενώς δεδομένα που είναι αποθηκευμένα στο Azure, παρόμοια με τον τρόπο ανάγνωσης δεδομένων που είναι αποθηκευμένα στο S3.
- Διαμόρφωση Jemalloc, συν εκχωρητή buffer και αφαίρεση περιττών αντιγράφων συμβολοσειρών στο λεξικό παρκέ
- Ο πελάτης έχει προσθέσει πειραματική υποστήριξη για το PySpark API.
- Προστέθηκε μια πειραματική προσθήκη για την ανάγνωση πινάκων σε μορφή Apache Iceberg.
- Julia ενημέρωση σε 0.8.1
- Προστέθηκε το conn.interrupt() στο DuckDB Python API
- Διορθώστε τις παραμέτρους παλινδρόμησης με εναλλαγή x/y
τελικά αν είσαι ενδιαφέρεται να μάθει περισσότερα για αυτό, μπορείτε να ελέγξετε τις λεπτομέρειες Στον ακόλουθο σύνδεσμο.