TileDB 2.0, një bazë të dhënash për të ruajtur matricat dhe të dhënat shkencore

Publikimi i versionit të ri të TileDB 2.0 u njoftua kohët e fundit në të cilin integrimi shtohet për të punuar me shërbime të ndryshme cloud, aftësia për të përdorur algoritme të ndryshëm, përmirësime me motorë të ndryshëm të ruajtjes dhe gjëra të tjera.

Për ata që nuk janë të njohur me TileDB, ata duhet ta dinë se kjo është një bazë e të dhënave e krijuar për të ndihmuar ekipet e shkencës së të dhënave për t'i bërë zbulimet më të shpejta duke u dhënë atyre një mënyrë më të fuqishme për të ruajtur, azhurnuar, analizuar dhe shkëmbyer grupe të mëdha të të dhënave të ndryshme.

Rreth TileDB

TileDB përbëhet nga një format i ri shumëdimensional i të dhënave të vargut, një motor i shpejtë, i ngulitur, me burim të hapur C ++ me integrime të mjeteve të shkencës së të dhënave dhe një shërbim cloud për llogaritjen e lehtë pa server dhe menaxhimin e të dhënave.

TileDB është optimizuar për të ruajtur matricat dhe të dhënat e përdorura në llogaritjet shkencore shumëdimensionale, të tilla si sisteme të ndryshme për përpunimin e informacionit gjenetik, të dhënave hapësinore dhe financiare, domethënë sistemeve që veprojnë me matrica shumëdimensionale të shpërndara ose të mbushura vazhdimisht.

TileDB ofron një bibliotekë të pavarur dhe të ngulitur C ++ e cila dërgohet me API në C, C ++, Python, R, Java dhe Go dhe ju keni qasje të drejtpërdrejtë në vargjet TileDB.

Biblioteka është e integruar me Spark, Dask, PrestoDB, MariaDB, Arrow dhe bibliotekat gjeohapësinore si PDAL, GDAL dhe Rasterio. TileDB shtyn sa më shumë llogarit të jetë e mundur në hapësirë ​​ruajtësesiç janë kushtet e filtrit të motorit SQL dhe llogaritjet e kornizës së të dhënave Dask dhe Spark.

Krahas bazës së të dhënave është TileDB Cloud, një shërbim pay-as-you-go që mund ta përdorni për të ndarë vargjet TileDB në re me përdoruesit e tjerë dhe për të kryer llogaritjet pa server mbi to.

Nga tiparet kryesore të TileDB bien në sy:

  • Metodat efektive për ruajtjen e vargjeve të rralla, të dhënat e të cilave nuk ndjekin vazhdimisht, vargu është i mbushur me fragmente dhe shumica e elementeve mbeten bosh ose marrin të njëjtën vlerë.
  • Aftësia për të hyrë në të dhëna në formatin e vlerës kryesore ose grupe të kolonave (DataFrame);
  • Mbështetje për integrimin me AWS S3, Google Cloud Storage dhe Azure Blob Storage.
  • TileDB në mënyrë efikase mbështet versionin e të dhënave të ngulitura natyrshëm në formatin e tij dhe motorin e ruajtjes.
  • Ka një shumëllojshmëri optimizimesh rreth I / O paralele në dyqanet e objekteve në re dhe llogaritjet me shumë fije (të tilla si klasifikimi, kompresimi, etj.).
  • Mundësia për të përdorur algoritme të ndryshëm të kompresimit dhe kriptimit të të dhënave.
  • Mbështetje për integritetin e shumës kontrolluese.
  • Punon në modalitetin me shumë fije me paralelizmin e hyrjes / daljes.
  • Mbështetje për versionimin e të dhënave të ruajtura, madje edhe për rikuperimin e gjendjes në një pikë të caktuar në të kaluarën ose për azhurnimet atomike të grupeve të mëdha integer.
  • Aftësia për të lidhur meta të dhënat.
  • Mbështetje për grupimin e të dhënave.
  • Modulet e integrimit për tu përdorur si motor ruajtje të nivelit të ulët në Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF dhe PrestoDB.
  • Biblioteka të detyrueshme CI + API për gjuhët Python, R, Java dhe Go.

Kodi i projektit është shkruar në C ++ dhe shpërndahet nën licencën MIT dhe është i pajtueshëm me Linux, macOS dhe Windows.

Rreth versionit 2.0

Versioni 2.0 shquhet për përputhshmërinë e tij me konceptin «DataFrame»,ju lejon të ruani të dhënat në formën e kolonave të vlerave gjatësia arbitrare, e lidhur me atributet specifike dhe që API i ridizajnuar për R.

Magazinimi është gjithashtu i optimizuar për përpunimin e matricave të rralla në madhësi heterogjene (lloje të ndryshme të të dhënave mund të ruhen në qeliza dhe është e mundur të bashkohen lloje të ndryshme të kolonave, për shembull, në të cilat ruhen emri, koha dhe çmimi).

Mbështetje e shtuar për kolonat me të dhëna vargu, si dhe modulet u shtuan për integrim me Hapësira ruajtëse e Google dhe hapësira ruajtëse e azureve. 

Më në fund, nëse doni të dini më shumë rreth këtij versioni të ri, fJu mund ta kontrolloni shënimin e lëshimit në lidhja e mëposhtme.

Y për të mësuar më shumë rreth instalimit tuaj, zbatimin dhe dokumentimin, ju mund ta bëni atë në lidhja vijuese.


Lini komentin tuaj

Adresa juaj e emailit nuk do të publikohet. Fusha e kërkuar janë shënuar me *

*

*

  1. Përgjegjës për të dhënat: AB Internet Networks 2008 SL
  2. Qëllimi i të dhënave: Kontrolloni SPAM, menaxhimin e komenteve.
  3. Legjitimimi: Pëlqimi juaj
  4. Komunikimi i të dhënave: Të dhënat nuk do t'u komunikohen palëve të treta përveç me detyrim ligjor.
  5. Ruajtja e të dhënave: Baza e të dhënave e organizuar nga Occentus Networks (BE)
  6. Të drejtat: Në çdo kohë mund të kufizoni, rikuperoni dhe fshini informacionin tuaj.