TileDB 2.0, tietokanta matriisien ja tieteellisen datan tallentamiseen

Äskettäin ilmoitettiin TileDB 2.0: n uuden version julkaisemisesta integraatio lisätään työskentelemään erilaisten pilvipalvelujen kanssa, kyky käyttää erilaisia ​​algoritmeja, parannuksia eri tallennusmoottoreihin ja muita asioita.

Niille, joille TileDB ei ole tuttu, heidän tulisi tietää tämä on tietokanta, joka on suunniteltu auttamaan tietojenkäsittelytiimejä tehdä löytöjä nopeammin antamalla heille tehokkaampi tapa tallentaa, päivittää, analysoida ja jakaa suuria erilaisten tietojen sarjoja.

Tietoja TileDB: stä

TileDB koostuu uudesta moniulotteisesta taulukosta, nopea, upotettava, avoimen lähdekoodin C ++ -tallennusmoottori datatieteen työkaluintegraatioilla ja pilvipalvelu helpottamaan palvelimettomia laskelmia ja tiedonhallintaa.

LaattaDB on optimoitu tallentamaan matriiseja ja tietoja, joita käytetään moniulotteisissa tieteellisissä laskelmissa, kuten erilaiset järjestelmät geneettisen tiedon, paikkatietojen ja rahoitustietojen käsittelemiseksi, toisin sanoen järjestelmät, jotka toimivat hajautettujen tai jatkuvasti täytettyjen moniulotteisten matriisien kanssa.

TileDB tarjoaa itsenäisen ja upotetun C ++ -kirjaston joka toimittaa API: n C, C ++, Python, R, Java ja Go ja sinulla on suora pääsy TileDB-ryhmiin.

Kirjasto on integroitu Spark-, Dask-, PrestoDB-, MariaDB-, Arrow- ja paikkatieteellisiin kirjastoihin, kuten PDAL, GDAL ja Rasterio. TileDB työntää mahdollisimman paljon laskentaa varastoonkuten SQL-moottorin suodatusehdot sekä Dask- ja Spark-tietokehyslaskelmat.

Tietokannan rinnalla on TileDB Cloud, pay-as-you-go-palvelu, jonka avulla voit jakaa TileDB-taulukoita pilvessä muiden käyttäjien kanssa ja suorittaa heille palvelimettomia laskelmia.

TileDB: n tärkeimmistä ominaisuuksista seuraavat erottuu:

  • Tehokkaat menetelmät harvojen matriisien tallentamiseksi, joiden tiedot eivät seuraa jatkuvasti, taulukko on täynnä fragmentteja, ja suurin osa elementeistä pysyy tyhjinä tai ottaa saman arvon.
  • Mahdollisuus käyttää tietoja avainarvomuodossa tai sarakeryhmissä (DataFrame);
  • Tuki integraatiolle AWS S3: n, Google Cloud Storage- ja Azure Blob Storage -palvelujen kanssa.
  • TileDB tukee tehokkaasti tiedostoversioita, jotka on upotettu sen muotoon ja tallennusmoottoriin.
  • Siinä on useita optimointeja rinnakkaisten I / O: n ympärille pilviobjektivarastoissa ja monisäikeisiä laskelmia (kuten luokittelu, pakkaus jne.).
  • Kyky käyttää erilaisia ​​datan pakkaus- ja salausalgoritmeja.
  • Tuki tarkistussumman eheydelle.
  • Se toimii monisäikeisessä tilassa tulon / lähdön rinnakkaistamisen kanssa.
  • Tuki tallennettujen tietojen versiointiin, jopa tilan hakemiseen tietyssä menneisyyden vaiheessa tai suurten kokonaislukujoukkojen atomipäivityksiin.
  • Kyky linkittää metatiedot.
  • Tietojen ryhmittelyn tuki.
  • Integrointimoduulit käytettäväksi matalan tason varastomoottorina Sparkissa, Daskissa, MariaDB: ssä, GDAL: ssa, PDAL: ssä, Rasteriossa, gVCF: ssä ja PrestoDB: ssä.
  • C ++ -sovellusliittymäkirjastot Python-, R-, Java- ja Go-kielille.

Projektikoodi on kirjoitettu C ++ - muodossa ja jaettu MIT-lisenssillä, ja se on yhteensopiva Linuxin, macOS: n ja Windowsin kanssa.

Tietoja versiosta 2.0

Versio 2.0 erottuu yhteensopivuudesta «DataFrame» -konseptin kanssa, että voit tallentaa tietoja arvosarakkeiden muodossa mielivaltainen pituus, sidottu tiettyihin määritteisiin ja että R: n uudistettu sovellusliittymä

Varastointi on myös optimoitu harvojen matriisien käsittelyyn kooltaan heterogeeninen (soluihin voidaan tallentaa erityyppisiä tietoja ja on mahdollista yhdistää erityyppisiä sarakkeita, joihin esimerkiksi nimi, aika ja hinta on tallennettu).

Lisätty tuki sarakkeille, joissa on merkkijonotiedot, sekä moduulit lisättiin integroitavaksi Google Cloud Storage ja Azure Blob Storage. 

Lopuksi, jos haluat tietää enemmän uudesta versiosta, sVoit tarkistaa julkaisutiedot osoitteessa seuraava linkki.

Y oppia lisää asennuksesta, toteutus ja dokumentaatio, voit tehdä sen seuraava linkki.


Ole ensimmäinen kommentti

Jätä kommentti

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *

*

*

  1. Vastaa tiedoista: AB Internet Networks 2008 SL
  2. Tietojen tarkoitus: Roskapostin hallinta, kommenttien hallinta.
  3. Laillistaminen: Suostumuksesi
  4. Tietojen välittäminen: Tietoja ei luovuteta kolmansille osapuolille muutoin kuin lain nojalla.
  5. Tietojen varastointi: Occentus Networks (EU) isännöi tietokantaa
  6. Oikeudet: Voit milloin tahansa rajoittaa, palauttaa ja poistaa tietojasi.