Durant tot l'any passat Microsoft ha estat de manera contínua obrint i creant projectes de codi obert amb la qual cosa ha començat a deixar de banda aquesta gran rivalitat a el món de l'codi obert (o al menys això sembla).
I no és per menysprear la seva activitat però a diferència de la dècada passada on tenia una guerra declarada a codi obert, les coses han canviat a l'almenys durant els últims anys. ja que en aquests últims dies Microsoft va donar a conèixer a la comunitat que ha pres la decisió d'obrir a l'publico un projecte de processament de dades a gran escala, Data Accelerator, Que originalment es va usar internament.
Des de la seva desenvolupament en 2017, el projecte s'ha aplicat en gran escala a diversos canals de treball de productes de Microsoft.
Sobre Data Accelerator
Data Accelerator va començar el 2017 com un projecte de processament de dades a gran escala a la Divisió de Desenvolupadors de Microsoft que finalment va arribar a Apache Spark per raons d'escala i velocitat.
Data Accelerator és més que un simple conducte entre EventHub i la base de dades.
Permet als usuaris canviar la forma dels esdeveniments entrants mentre continuen transmetent, i després en rutar diferents parts de el mateix esdeveniment a diferents magatzems de dades al mateix temps que proporciona monitoratge d'estat i alertes per a tot l'estat de la canalització.
Data Accelerator també proporciona una interfície d'usuari de configuració i una experiència de disseny de regles / consultes que permet als usuaris posar-se en marxa sense haver d'escriure cap codi.
A més, qualsevol persona que realitzi el processament de dades de transmissió en general necessita utilitzar una finestra lliscant per processar les dades, O per processar la demora per arribar a les dades, o per acumular dades al llarg de el temps.
Funcions
data Accelerator admet i simplifica l'ús d'aquestes funcions avançades.
D'acord amb el bloc oficial de codi obert de Microsoft, alguns mètodes de Data Accelerator faciliten la creació de fluxos de transmissió en Apache Spark:
Plug and Play: permet poder configurar fàcilment les fonts d'entrada i els receptors de sortida per a crear canonades en minuts.
Data Accelerator admet l'obtenció de dades de Eventhub i IoThub i admet la descàrrega de dades en blobs d'Azure, CosmosDB, Eventhub i més.
No-Code Experience: admet la possibilitat de configurar alertes i processament de dades sense escriure cap codi.
Amb l'experiència de Rule Designer, podeu especificar el processament, marcat i alertes de dades simples i agregats.
Consultes de SQL: permet l'escriptura de el processament complex en SQL, no cal treballar a Scala.
El model d'extensibilitat incorporat també accepta característiques definides per l'usuari i aprofita la funcionalitat d'Azure, per exemple, per a la transmissió en ML.
Consultes en temps real: estalvia la configuració i el temps de processament de la canonada de prova executant contra mostres de dades entrants i validant les seves consultes en segons.
Finalment, Microsoft va esmentar que l'accelerador de dades admet un cicle de verificació ràpid per als bucles de prova de desenvolupament, on les consultes per a esdeveniments locals mostrejats poden corregir iterativament perquè estiguin disponibles abans de la implementació, el que pot estalviar molt de temps per al processament de el flux de treball de prova.
Data Accelerator és utilitzat diàriament per la Divisió de Desenvolupadors de Microsoft i continuarà realitzant millores en la cadena d'eines al llarg de el temps, però reconeixem que el conjunt d'eines podria fer moltes més coses segons la necessitat.
Data Accelerator brinda la possibilitat a tota aquella persona que vulgui el poder habilitar i simplifica l'ús d'aquestes característiques avançades.
Esperem que a l'obrir aquest projecte, alguns de vostès trobin encara més útil l'accelerador de dades.
Si desitgen poder obtenir més informació sobre el codi de Data Accelerator, poden visitar l'anunci en el bloc de codi obert de Microsoft.