Analityka danych i uczenie maszynowe są coraz częściej wykorzystywane na co dzień a firmy, które próbują tej przygody, również ogólnie borykają się z problemami integracyjnymi. Aby sprostać tym wyzwaniom, IBM właśnie wprowadził CodeFlare, framework o otwartym kodzie źródłowym, który bazuje na rozproszonym systemie Ray z laboratorium RISE z Uniwersytetu Kalifornijskiego w Berkeley za modele uczenia maszynowego.
kod flary ma na celu uproszczenie procesu iteracji AI z określonymi elementami w celu skalowania przepływów danych i wyrosła z projektu w grupie IBM odpowiedzialnej za stworzenie jednego z pierwszych na świecie dwunanometrowych prototypowych chipów.
IBM twierdzi, że CodeFlare pomaga uprościć integrację i wydajne skalowanie przepływów pracy związanych z Big Data i sztuczną inteligencją w infrastrukturach wielochmurowych.
„CodeFlare przenosi pojęcie uproszczonego uczenia maszynowego… o krok dalej, wykraczając poza pojedyncze kroki, aby bezproblemowo zintegrować kompleksowe potoki z interfejsem przyjaznym naukowcom danych, takim jak Python, a nie kontenerami” – Priya Nagpurkar, Principal Hybrid Cloud Platforma w IBM Research, VentureBeat powiedział za pośrednictwem poczty e-mail… wyróżnia się uproszczeniem integracji i skalowania całych potoków dzięki ujednoliconemu środowisku wykonawczemu i interfejsowi programistycznemu.”
W poście na blogu IBM wyjaśnił, że tworzenie modeli uczenia maszynowego w dzisiejszych czasach jest zadaniem bardzo ręcznym.. Badacze muszą najpierw wyszkolić i zoptymalizować model, co obejmuje takie zadania, jak czyszczenie danych, wyodrębnianie cech, a następnie optymalizacja modelu. IBM powiedział, że CodeFlare pomaga uprościć tę pracę.
Ponieważ CodeFlare używa interfejsu opartego na języku programowania Python do tworzenia potoku, dzięki czemu łatwiej jest integrować, zrównoleglać i udostępniać dane. CodeFlare można następnie wykorzystać do ujednolicenia przepływów pracy w potoku na wielu platformach przetwarzania w chmurze, bez uczenia się nowego języka przepływu pracy dla każdego typu infrastruktury.
IBM powiedział, że rurociągi można wdrożyć w dowolnej infrastrukturze chmury, w tym w nowym IBM Cloud Code Engine, która jest platformą bezserwerową i Red Hat OpenShift, a także zapewnia adaptery dla wyzwalaczy zdarzeń, takich jak pojawienie się nowego pliku, co oznacza, że potoki mogą integrować się i łączyć z innymi ekosystemami natywnymi dla chmury, powiedział IBM.
Co więcej, umożliwia również ładowanie i partycjonowanie danych z wielu źródeł, takich jak magazyny obiektów w chmurze, jeziora danych i rozproszone systemy plików.
Główną zaletą korzystania z CodeFlare do tworzenia nowych projektów uczenia maszynowego jest szybkość. Firma twierdziła, że gdy jeden z jej użytkowników zastosował CodeFlare do analizy i optymalizacji 100,000 15 potoków w celu trenowania modeli uczenia maszynowego, skrócił czas działania każdego z czterech godzin do zaledwie XNUMX minut.
Szybkość jest ważna, wyjaśnił IBM, ponieważ zestawy danych stają się coraz większe, co oznacza, że przepływy pracy uczenia maszynowego stają się coraz bardziej złożone i złożone. W związku z tym naukowcy spędzają więcej czasu na konfigurowaniu ustawień, zanim będą mogli załatwić sprawę.
„IBM dąży do tego, wykorzystując Open Source CodeFlare jako platformę dla pracowników danych i programistów do budowania modeli sztucznej inteligencji, które mogą działać w dowolnej chmurze” – powiedział Mueller. „CodeFlare działa na RedHat OpenShift i stamtąd zapewnia obsługę wielu chmur”.
IBM powiedział, że:
CodeFlare staje się open source dzisiaj jest dostępny w repozytorium IBM na GitHub, a także udostępnia kilka próbek potoków CodeFlare, które utworzył i które działają w chmurze IBM Cloud i Red Hat OpenShift.
W końcu jeśli chcesz dowiedzieć się więcej na ten temat lub możesz sprawdzić kod źródłowy CodeFlare, możesz to zrobić z poniższego linku.