Kedro 프로젝트 GitHub 페이지
Kedro는 컨설팅 회사 인 McKinsey의 사업부가 개발 한 최초의 오픈 소스 도구입니다. 데이터 과학자와 엔지니어가 사용하기 위해 만들어졌습니다. 이다 데이터 및 파이프를 만드는 데 사용할 수있는 코드 라이브러리, 기계 학습 프로젝트의 구성 요소입니다.
McKinsey & Company는 미국의 글로벌 경영 컨설팅 회사입니다. 공공 및 민간 부문의 관리 결정을 평가하기 위해 질적 및 정량적 분석을 수행합니다. 그의 고객은 세계 최대 기업의 80 %를 포함합니다.
최초의 오픈 소스 도구
이 회사는 오픈 소스 라이선스로 사내에서 개발 한 도구 중 하나를 출시 한 적이 없습니다. 사실 Kedro는 독점 소프트웨어로 태어났습니다. 그러나 회사와의 관계가 종료되면 고객은 더 이상 프로그램에 액세스 할 수 없었습니다.
Kedro라는 이름은 중심 또는 핵심에 대한 그리스어 단어. 이 오픈 소스 도구는 고급 분석 프로젝트를 생성하는 데 중요한 코드를 제공하기 때문에 선택되었습니다.
Kedro에는 두 가지 주요 이점이 있습니다.
- 이를 통해 팀은 일관된 방식으로 분석 코드를 구조화하여보다 쉽게 협업 할 수 있습니다.
- 이를 통해 모든 구성 요소가 프로젝트의 모든 단계를 원활하게 진행할 수 있습니다.
여기에는
- 데이터 소스 통합,
- 데이터 정리
- 기능 생성
- 설명 또는 예측 분석을 위해 데이터를 기계 학습 모델에 입력합니다.
케드로도 즉시 사용 가능한 코드 제공. 이것은 일반적으로 소프트웨어 생성 전문가가 아닌 데이터 과학자에게 정말 유용합니다.
Kedro가 유용한 이유는 무엇입니까?
Kedro와 같은 오픈 소스 도구는 프로토 타입을 프로덕션 코드로 변환하는 데 걸리는 시간을 몇 주 단축합니다. 분석가는 코딩 시간을 줄이고 고객 문제 해결에 더 많은 시간을 할애 할 수 있습니다.
Kedro는 팀이 모든 환경에서 테스트되고 재현 가능하고 버전이 지정된 모듈 식 데이터 채널을 생성하여 사용자가 이전 데이터 상태에 액세스 할 수 있도록 지원합니다. 동일한 코드를 단일 개발자의 노트북에서 클라우드 컴퓨팅을 사용하는 엔터프라이즈 급 프로젝트로 전달할 수 있습니다. 또한 모든 산업, 모델 및 데이터 소스와 함께 사용할 수 있습니다.
McKinsey는 이미 현재까지 50 개 이상의 프로젝트에서 Kedro를 사용했습니다. 한 경영진에 따르면 고객은 특히 파이프 시각화를 좋아합니다. 이들은 다양한 변환 단계, 관련된 모델 유형을 즉시 확인하고 결과를 원시 데이터 소스로 다시 추적 할 수 있습니다.
맥킨지 기술과 직접적인 관련이없는 최초의 기업이 아닙니다. 오픈 소스 도구를 게시합니다. Uber와 Airbnb는 이미 해냈습니다.
Kendro 기능 및 설치
Kedro는 다음을위한 워크 플로 개발 도구입니다. 강력하고 확장 가능하며 배포 가능하고 재현 가능하며 버전이 지정된 데이터 채널을 생성합니다.
Kedro의 주요 특징은 무엇입니까?
1. 프로젝트 템플릿 및 코딩 표준
- 사용하기 쉬운 표준 프로젝트 템플릿
- 자격 증명, 등록, 데이터 업로드 및 Jupyter 노트북 / 실습에 대한 설정.
- pytest를 사용한 테스트 주도 개발
- 잘 문서화 된 코드를 생성하기위한 Sphinx 통합
2. 데이터 추출 및 버전 관리
- 다양한 데이터 형식 및 저장 옵션에 대한 지원을 포함하여 데이터 관리 계층에서 컴퓨팅 계층 분리.
- 데이터 세트 및 기계 학습 모델 용 버전
3. 파이프의 모듈화 및 추상화
- 순수 Python 함수, 노드를 지원하여 큰 코드 청크를 작은 독립 섹션으로 나눕니다.
- 노드 간 종속성 자동 해결
4. 기능의 확장 성
- Kedro의 명령 줄 인터페이스 (CLI)에 명령을 삽입하는 플러그인 시스템 : Kedro-Airflow를 사용하면 워크 플로 스케줄러 인 Airflow에 배포하기 전에 Kedro에서 데이터 파이프 라인을 쉽게 프로토 타입 할 수 있습니다. Kedro-Docker, Kedro 프로젝트를 컨테이너에 포장하고 배송하는 도구
- Kedro는 로컬, 온 프레미스 및 클라우드 (AWS, Azure 및 GCP) 또는 클러스터 (EMR, Azure HDinsight, GCP 및 Databricks)에 배포 할 수 있습니다.
다음을 수행하여 미리 참조 된 Linux 배포판에 Kedro를 설치할 수 있습니다.
sudo apt install python3-pip
pip install kedro
실현하려면 :
pip3 install kedro -U
다음과 같은 문서를 볼 수 있습니다.
kedro docs
자세한 정보는 프로젝트 페이지