В течение последнего года Microsoft постоянно открывала и создавала проекты с открытым исходным кодом. с которой он начал отказываться от этого великого соперничества с миром открытого исходного кода (по крайней мере, так кажется).
И это не для того, чтобы умалить свою активность, но в отличие от последнего десятилетия, когда была объявлена война с открытым исходным кодом, все изменилось, по крайней мере, в последние годы. В виде за последние дни Microsoft представила сообществу, принявшему решение открыть выпустила масштабный проект обработки данных Data Accelerator, который изначально использовался для внутренних целей.
С момента разработки в 2017 году проект широко применялся в различных рабочих каналах продуктов Microsoft.
Об ускорителе данных
Data Accelerator запущен в 2017 году как масштабный проект обработки данных в Microsoft Developers Divisionт, наконец, добрался до Apache Spark по причинам масштаба и скорости.
Data Accelerator - это больше, чем просто канал между EventHub и базой данных.
Это позволяет пользователям изменять форму входящих событий по мере их продолжения трансляции, а затем направлять разные части одного и того же события в разные хранилища данных, обеспечивая при этом мониторинг работоспособности и предупреждения для всего состояния конвейера.
Data Accelerator также предоставляет пользовательский интерфейс конфигурации и возможности разработки правил / запросов, которые позволяют пользователям приступить к работе без написания какого-либо кода.
Кроме того, любой, кто выполняет обработку данных передачи в целом вам нужно использовать скользящее окно для обработки данных, или для обработки задержки для доступа к данным, или для накопления данных с течением времени.
функции
Ускоритель данных поддерживает и упрощает использование этих расширенных функций.
Согласно официальному блогу Microsoft с открытым исходным кодом, некоторые методы Data Accelerator упрощают создание потоков в Apache Spark:
Подключи и играй: позволяет легко настраивать источники ввода и приемники вывода для создания конвейеров за считанные минуты.
Data Accelerator поддерживает получение данных из Eventhub и IoThub, а также поддерживает загрузку данных в большие двоичные объекты Azure, CosmosDB, Eventhub и другие.
Опыт без кода: поддерживает возможность настройки предупреждений и обработки данных без написания кода.
Благодаря опыту Rule Designer вы можете указать простую и агрегированную обработку данных, маркировку и предупреждения.
SQL-запросы: позволяет писать сложную обработку на SQL, работать на Scala не нужно.
Встроенная модель расширяемости также поддерживает определяемые пользователем функции и использует функциональность Azure, например, для потоковой передачи в машинном обучении.
Консультации в режиме реального времени: Экономия времени на настройку и обработку тестовой трубы за счет работы с образцами входящих данных и проверки ваших запросов за секунды.
Наконец, Microsoft упомянула, что ускоритель данных поддерживает цикл быстрой проверки для циклов тестирования разработки, где запросы для выборочных локальных событий можно итеративно корректировать, чтобы они были доступны до развертывания, что может сэкономить много времени на обработку рабочего процесса тестирования.
Data Accelerator ежедневно используется отделом разработчиков Microsoft и со временем продолжит совершенствовать набор инструментов, но мы понимаем, что набор инструментов может делать гораздо больше по мере необходимости.
Data Accelerator предлагает возможность каждому, кто хочет включить и упростить использование этих расширенных функций.
Мы надеемся, что, открыв этот проект, некоторые из вас найдут ускоритель данных еще более полезным.
Если вы хотите получить больше информации Что касается кода Data Accelerator, вы можете посетить объявление в блоге Microsoft с открытым исходным кодом.