DuckDB, DB קוד פתוח המשמש את גוגל, פייסבוק ו-Airbnb

DuckDB, ה-DBMS המשמש את גוגל, פייסבוק ו-Airbnb

DuckDB היא מערכת ניהול מסד נתונים של SQL OLAP בהתהוות

לאחרונה הוכרזה שחרור הגרסה החדשה של DuckDB 0.5.0, שהיא מערכת ניהול מסד נתונים אנליטית מתפתחת (DBMS) המשמשת את גוגל, פייסבוק ו-Airbnb.

DuckDB היא מערכת מסד נתונים אנליטית בעלת ביצועים גבוהים. הוא נועד להיות מהיר, אמין וקל לשימוש. DuckDB מספק ניב עשיר של SQL, עם תמיכה הרבה מעבר ל-SQL בסיסי. DuckDB תומך בשאילתות משנה מתואמות שרירותיות ומקוננות, פונקציות חלונות, איסוף, סוגים מורכבים (מערכים, מבנים) ועוד.

בין המאפיינים העיקריים שלו, בולטים הבאים:

  • התקנה פשוטה
  • משולב: אין ניהול שרתים
  • פורמט אחסון קובץ בודד
  • עיבוד אנליטי מהיר
  • העברה מהירה בין R/Python ל-RDBMS
  • זה לא תלוי בשום מצב חיצוני. לדוגמה, קבצי תצורה נפרדים, משתנה סביבה.
  • פורמט אחסון קובץ בודד
  • ממשק בר חיבור. API פרוגרמטי שוטף של SQL
  • חומצה מלאה באמצעות MVCC

אודות DuckDB 0.5.0

בין החידושים ניתן למצוא "מחוץ לליבה", שמטרתה לפתור את הבעיות שעלולות להתעורר כאשר הנתונים המעובדים גדולים מהזיכרון על ידי הצעת תוצאות ביניים.

הגרסה החדשה משתמש באינדקסים Adaptive Radix Tree (ART). כדי להחיל הגבלות ולהאיץ את מסנני השאילתות. עד כה, האינדקסים לא היו קבועים, מה שהוביל לבעיות כמו אובדן מידע אינדקס וזמני טעינה ארוכים של טבלאות מוגבלות נתונים.

לאמנות זהו, במהותו, ניסיון ליישם דחיסה אנכית ואופקית כדי ליצור מבני אינדקס קומפקטיים. כוונות הן מבני נתונים דמויי עץ, כאשר כל רמה של העץ מכילה מידע על חלק כלשהו ממערך הנתונים. בדרך כלל הם מאוירים על ידי מחרוזות תווים.

הפרויקט הוסיף גם אופטימיזציה של הזמנות הצטרפות, בעיה נפוצה במסדי נתונים אנליטיים. היון פארק, מנכ"ל ואנליסט ראשי ב-Amalgam Insights, אמר שהבידול של DuckDB נובע מהעובדה שמדובר באפליקציה קטנה שעובדת בתוך זרימות עבודה מבוססות קוד כדי לסרוק במהירות מאגרי נתונים גדולים.

"DuckDB יכול לעתים קרובות להריץ שאילתות ישירות על הנתונים ללא עיבוד ביניים, מה שמשפר את העיבוד. מנקודת מבט טכנולוגית גרידא, זה דומה במקצת ל-Actian Vector, שגם נוקט בגישת שאילתת OLAP מוקטורית בעמודים, אם כי אקטיאן נועד להביא נתונים במקום לעבוד על תהליך או לטעון עבודה ספציפית. »

DuckDB Labs מספקת עצות ותמיכה. המייסד והמנכ"ל המשותף, Hannes Mühleisen, שגם היה שותף בכתיבת הקוד ותחזק את הפרויקט, אמר שהוא קיבל השראה ממנוע ה-OLTP ללא שרת של SQLite, שם ראה הזדמנות לגישה דומה, אבל לניתוח.

DuckDB משמש לעתים קרובות גם כחלק מחסנית ניתוח או ניהול. נתונים גדולים יותר. לדוגמה, אם מישהו בונה אפליקציה מותאמת אישית שאוסף נתונים ואז רוצה ליצור ממשק SQL, הוא היה צריך קודם להעתיק את הנתונים ולהעביר אותם למערכת אחרת, מה שעלול לגרום לבעיות סנכרון, הוא הסביר.

הורד וקבל

חשוב להזכיר שבדף הבית מצוין בבירור שאין להשתמש בו עבור "התקנות לקוח/שרת גדולות לאחסון נתונים ארגוני מרכזי".

הפרויקט עובד על שחרור גרסה 1.0, לאחר מכן לא יהיה ניתן עוד לבצע שינויים. עבודותיהם של אנשי אקדמיה של המרכז למתמטיקה ומדעי המחשב העיוני Centrum Wiskunde & Informatica באמסטרדם, DuckDB משולבות בתהליך מארח, ראוי לציין שאין תוכנת שרת DBMS להתקנה, עדכון או תחזוקה.

לדוגמה, חבילת DuckDB Python יכולה להריץ שאילתות ישירות על נתונים מספריית תוכנת Python, מבלי לייבא או להעתיק נתונים. DuckDB כתוב ב-C++, הוא חינמי וקוד פתוח תחת רישיון MIT.

אתה יכול ללמוד עוד על זה וכן לעיין במדריך ההתקנה, בקישור הבא.


היה הראשון להגיב

השאירו את התגובה שלכם

כתובת הדוא"ל שלך לא תפורסם. שדות חובה מסומנים *

*

*

  1. אחראי על הנתונים: AB Internet Networks 2008 SL
  2. מטרת הנתונים: בקרת ספאם, ניהול תגובות.
  3. לגיטימציה: הסכמתך
  4. מסירת הנתונים: הנתונים לא יועברו לצדדים שלישיים אלא בהתחייבות חוקית.
  5. אחסון נתונים: מסד נתונים המתארח על ידי Occentus Networks (EU)
  6. זכויות: בכל עת תוכל להגביל, לשחזר ולמחוק את המידע שלך.