Tout au long de l'année écoulée, Microsoft n'a cessé d'ouvrir et de créer des projets open source avec lequel il a commencé à mettre de côté cette grande rivalité avec le monde de l'open source (du moins il semble).
Et il ne s'agit pas de minimiser son activité mais contrairement à la dernière décennie où elle avait déclaré la guerre à l'open source, les choses ont changé au moins ces dernières années. Car ces derniers jours, Microsoft a dévoilé à la communauté qui a pris la décision d'ouvrir a publié un projet de traitement de données à grande échelle, Data Accelerator, qui était à l'origine utilisé en interne.
Depuis son développement en 2017, le projet a été appliqué à grande échelle à divers canaux de travail des produits Microsoft.
À propos de l'accélérateur de données
Data Accelerator a démarré en 2017 en tant que projet de traitement de données à grande échelle dans la division des développeurs de Microsoftt qui est finalement arrivé à Apache Spark pour des raisons d'échelle et de vitesse.
Data Accelerator est plus qu'un simple canal entre EventHub et la base de données.
Il permet aux utilisateurs de remodeler les événements entrants au fur et à mesure de leur diffusion, puis d'acheminer différentes parties du même événement vers différents magasins de données tout en fournissant une surveillance de l'intégrité et des alertes pour l'ensemble de l'état du pipeline.
Data Accelerator fournit également une interface utilisateur de configuration et une expérience de conception de règles / requêtes qui permettent aux utilisateurs d'être opérationnels sans avoir à écrire de code.
En outre, toute personne qui effectue le traitement des données de transmission en général vous devez utiliser une fenêtre coulissante pour traiter les données, ou pour traiter le délai pour accéder aux données, ou pour accumuler des données au fil du temps.
fonctions
Accélérateur de données prend en charge et simplifie l'utilisation de ces fonctionnalités avancées.
Selon le blog open source officiel de Microsoft, certaines méthodes de l'accélérateur de données facilitent la création de flux dans Apache Spark:
Plug and Play: vous permet de configurer facilement les sources d'entrée et les récepteurs de sortie pour créer des pipelines en quelques minutes.
Data Accelerator prend en charge la récupération de données depuis Eventhub et IoThub et prend en charge le téléchargement de données vers des objets blob Azure, CosmosDB, Eventhub, etc.
Expérience sans code: prend en charge la possibilité de configurer les alertes et le traitement des données sans écrire de code.
Grâce à l'expertise de Rule Designer, vous pouvez spécifier un traitement de données, un marquage et des alertes simples et agrégés.
Requêtes SQL: permet l'écriture de traitements complexes en SQL, pas besoin de travailler sous Scala.
Le modèle d'extensibilité intégré prend également en charge les fonctions définies par l'utilisateur et exploite les fonctionnalités d'Azure, par exemple pour la diffusion en continu dans ML.
Consultations en temps réel: Économise le temps de traitement de l'installation et du tuyau de test en s'exécutant sur des échantillons de données entrants et en validant vos requêtes en quelques secondes.
Enfin, Microsoft a mentionné que l'accélérateur de données prend en charge un cycle de vérification rapide pour les boucles de test de développement, où les requêtes pour les événements locaux échantillonnés peuvent être corrigées de manière itérative pour être disponibles avant le déploiement, ce qui peut gagner beaucoup de temps pour le traitement du flux de travail de test.
Data Accelerator est utilisé quotidiennement par la division des développeurs de Microsoft et continuera à apporter des améliorations à la chaîne d'outils au fil du temps, mais nous reconnaissons que l'ensemble d'outils pourrait faire beaucoup plus si nécessaire.
Data Accelerator offre la possibilité à quiconque souhaite activer et simplifier l'utilisation de ces fonctionnalités avancées.
Nous espérons qu'en ouvrant ce projet, certains d'entre vous trouveront l'accélérateur de données encore plus utile.
Si vous souhaitez obtenir plus d'informations À propos du code de l'accélérateur de données, vous pouvez consulter l'annonce sur le blog open source de Microsoft.