TileDB 2.0'ın yeni sürümünün piyasaya sürüldüğü yakın zamanda duyurulmuştu. farklı bulut hizmetleriyle çalışmak için entegrasyon eklendi, farklı algoritmalar kullanma yeteneği, farklı depolama motorları ile iyileştirmeler ve diğer şeyler.
TileDB'ye aşina olmayanlar için bunu bilmelidirler. veri bilimi ekiplerine yardımcı olmak için tasarlanmış bir veritabanıdır çok çeşitli verileri depolamak, güncellemek, analiz etmek ve paylaşmak için onlara daha güçlü bir yol sunarak keşifleri daha hızlı yapmak.
TileDB hakkında
TileDB, yeni bir çok boyutlu dizi veri formatından oluşur, Veri bilimi araç entegrasyonlarına sahip hızlı, gömülebilir, açık kaynaklı bir C ++ depolama motoru ve sunucusuz kolay hesaplama ve veri yönetimi için bir bulut hizmeti.
TileDB çok boyutlu bilimsel hesaplamalarda kullanılan matrisleri ve verileri depolamak için optimize edilmiştir, genetik bilgiyi, uzamsal ve finansal verileri işlemek için çeşitli sistemler, yani dağınık veya sürekli doldurulmuş çok boyutlu matrislerle çalışan sistemler gibi.
TileDB, bağımsız ve yerleşik bir C ++ kitaplığı sunar C, C ++, Python, R, Java ve Go'da API ile birlikte gelen ve TileDB dizilerine doğrudan erişiminiz var.
Kütüphane Spark, Dask, PrestoDB, MariaDB, Arrow ve PDAL, GDAL ve Rasterio gibi jeo-uzamsal kütüphanelerle entegre edilmiştir. TileDB, depolamaya olabildiğince çok hesaplama iterSQL motor filtre koşulları ve Dask ve Spark veri çerçevesi hesaplamaları gibi.
Veritabanının yanı sıra, buluttaki TileDB dizilerini diğer kullanıcılarla paylaşmak ve bunlar üzerinde sunucusuz hesaplamalar yapmak için kullanabileceğiniz bir kullandıkça öde hizmeti olan TileDB Cloud vardır.
TileDB'nin temel özelliklerinden şu dikkat çekicidir:
- Verileri sürekli takip etmeyen seyrek dizileri depolamak için etkili yöntemler, dizi parçalarla doldurulur ve öğelerin çoğu boş kalır veya aynı değeri alır.
- Verilere anahtar değer biçiminde veya sütun kümelerinde (DataFrame) erişme yeteneği;
- AWS S3, Google Cloud Storage ve Azure Blob Storage ile entegrasyon desteği.
- TileDB, biçimine ve depolama motoruna yerel olarak gömülü veri sürümlemesini verimli bir şekilde destekler.
- Bulut nesne depolarında ve çok iş parçacıklı hesaplamalarda (sınıflandırma, sıkıştırma, vb.) Paralel G / Ç etrafında çeşitli optimizasyonlara sahiptir.
- Farklı veri sıkıştırma ve şifreleme algoritmalarını kullanma yeteneği.
- Sağlama toplamı bütünlüğü desteği.
- Giriş / çıkış paralelleştirmesi ile çok iş parçacıklı modda çalışır.
- Geçmişte belirli bir noktada durumu geri almak için veya büyük tamsayı kümelerinin atomik güncellemeleri için bile, depolanan verilerin versiyonlanması için destek.
- Meta verileri bağlama yeteneği.
- Veri gruplama desteği.
- Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF ve PrestoDB'de düşük seviyeli depolama motoru olarak kullanılacak entegrasyon modülleri.
- Python, R, Java ve Go dilleri için C ++ API bağlama kitaplıkları.
Proje kodu C ++ ile yazılır ve MIT lisansı altında dağıtılır ve Linux, macOS ve Windows ile uyumludur.
2.0 sürümü hakkında
Sürüm 2.0 «DataFrame» konseptiyle uyumluluğuyla dikkat çeker, o verileri değer sütunları biçiminde depolamanıza olanak tanır keyfi uzunluk, belirli özniteliklere bağlı ve R. için yeniden tasarlanmış API.
Depolama, seyrek matrisleri işlemek için de optimize edilmiştir boyut olarak heterojen (hücrelerde farklı veri türleri saklanabilir ve örneğin adın, zamanın ve fiyatın depolandığı farklı sütun türlerini birleştirmek mümkündür).
Dize verileri içeren sütunlar için destek eklendi. ile entegrasyon için modüller eklendi Google Bulut Depolama ve Azure Blob Depolama.
Son olarak, bu yeni sürüm hakkında daha fazla bilgi edinmek istiyorsanız, pSürüm notunu şu adresten kontrol edebilirsiniz: aşağıdaki bağlantı.
Y kurulumunuz hakkında daha fazla bilgi edinmek için uygulama ve dokümantasyon, bunu şurada yapabilirsiniz: aşağıdaki bağlantı.