데이터 이동 문제 해결을 통한 데이터 운영 가속화
Cloudera DataFlow는 Apache NiFi 기반의 클라우드 네이티브 데이터 서비스로, 데이터 이동에 대한 엔드 투 엔드 프로세스를 간소화하여 범용 데이터 배포를 지원합니다.
450개 이상의 애그노스틱 커넥터를 통해 하이브리드 환경 전반에서 모든 구조의 데이터를 모든 소스에서 모든 대상으로 원활하게 이동합니다.
간소화된 아키텍처로 효율성을 극대화하여 데이터 종속을 방지하고 도구 확산 및 중복 데이터 이동을 감소시킵니다.
데이터 파이프라인 라이프사이클의 모든 단계에서 노 코드 개발자 셀프서비스를 지원하여 한 단계 높은 민첩성을 제공합니다.
퍼블릭 클라우드 탄력성의 활용을 통한 확장 가능형 데이터 파이프라인의 신속한 구축과 배포
Cloudera DataFlow는 자동 확장 기능을 갖춘 클라우드 네이티브 데이터 서비스로서 제공되어 비용을 최소화하는 동시에 성능을 향상시킵니다.
사용 사례
최적의 효율성을 바탕으로 비즈니스 크리티컬 데이터를 실시간 전송합니다.
-
민첩한 데이터 파이프라인
온프레미스 또는 클라우드의 데이터 레이크, 웨어하우스, 비즈니스 앱 등에서 데이터를 스트림 안팎으로 이동합니다.
-
실시간 가시성
운영 시 상황 인식과 반응 시간을 개선합니다.
-
DevOps에 대한 엔터프라이즈 지원
NiFi 배포 확장 시 고비용의 셀프 지원에서 엔터프라이즈 솔루션으로 발전합니다.
-
민첩한 데이터 파이프라인
온프레미스 또는 클라우드의 데이터 레이크, 웨어하우스, 비즈니스 앱 등에서 데이터를 스트림 안팎으로 이동합니다.
-
실시간 가시성
운영 시 상황 인식과 반응 시간을 개선합니다.
-
DevOps에 대한 엔터프라이즈 지원
NiFi 배포 확장 시 고비용의 셀프 지원에서 엔터프라이즈 솔루션으로 발전합니다.
셀프서비스 데이터 파이프라인 개발 및 배포
노 코드 UI를 통해 최적의 효율성을 바탕으로 어디서나 데이터를 이동합니다.
이벤트 데이터를 실행 가능하게 만드는 스트리밍 파이프라인
운영 체제의 데이터를 활용하여 사이버 보안, 머신 상태, 고객 참여 등에 대한 실시간 통찰력을 제공합니다.
비용 절감, 위험 감소, 개발자 속도 향상
기존 NiFi 플로를 Cloudera DataFlow로 이동하여 개발자 생산성을 40%까지 향상시킵니다.
데이터를 다루는 모든 역할을 위해 데이터 파이프라인 문제를 해결합니다.
데이터 엔지니어
로우 코드의 시각적 인터페이스를 사용하여 데이터 배포 요구 사항을 충족하는 강력한 데이터 파이프라인을 구축합니다.
애플리케이션 개발자
어떤 형식의 애플리케이션이나 대상에도 적용되는 탄력적인 고속 파이프라인을 통해 데이터를 많이 사용하는 애플리케이션을 지원합니다.
아키텍트
과도한 데이터 이동과 복잡한 도구 사용을 줄여 개발 속도를 높이고 비용을 관리합니다.
기능과 장점
Cloudera DataFlow는 데이터 파이프라인 개발 및 배포에 대한 엔드 투 엔드 프로세스를 간소화합니다.
DataFlow Designer를 통한 데이터 파이프라인 워크플로 재구성과 개발자 셀프서비스 지원
- 핵심 개발 기능 통합으로 생산성을 향상시키는 새로운 시각적 편집기
- 새로운 데이터 플로의 빠른 구축과 검증이 가능한 반복 테스트 기능 기반의 노 코드 UI
- 새로운 플로 구축의 간소화. JDBC 드라이버, Python 스크립트 등의 파일을 Designer에 직접 업로드
ReadyFlows를 통한 빠른 시작과 DataFlow Catalog로의 신속한 게시
- ReadyFlows의 일반 사용 사례에 대한 최소한의 구성을 통해 사전 정의된 데이터 플로를 신속하게 배포
- 한 번의 작성으로 어디서나 배포할 수 있는 기능을 통해 비즈니스 성과를 빠르게 달성
- 비즈니스 및 데이터 요구 사항의 변화에 따른 손쉬운 버전 관리
DataFlow Functions를 비롯한 클라우드 최적화 배포 옵션
- 서버리스, 효율성, 비용 최적화 및 확장성. 모든 이벤트 기반 사용 사례에 대한 NiFi 플로 실행
- AWS Lambda, Azure Functions, Google Cloud Functions를 사용하여 실시간에 가까운 파일 처리
- HTTPS 요청으로 트리거되는 마이크로서비스 구축을 위한 손쉬운 노 코드 UI
중앙 제어 창에서의 편리한 KPI 모니터링
- 실행 위치에 관계없이 단일 대시보드로 모든 NiFI 플로 배포를 모니터링
- 플로 배포에 대한 KPI 경고 정의를 통해 중요한 플로 성능 메트릭을 추적
- 동적 확장으로 성능 유지 및 최적의 효율성으로 SLA 충족
범용 연결성
데이터 스트림, 데이터베이스, 데이터 레이크, 엔터프라이즈 애플리케이션 등 전용 커넥터를 통해 온프레미스 또는 클라우드의 모든 시스템에 범용적으로 연결하고 HTTP, Syslog, UDP, TCP 등 업계 표준 프로토콜을 활용합니다.
주요 커넥터
Apache Iceberg
데이터 레이크 및 데이터 웨어하우스
Apache Kafka
데이터 스트림
Delta Lake
데이터 레이크 및 데이터 웨어하우스
Google BigQuery
데이터 레이크 및 데이터 웨어하우스
MongoDB
데이터베이스
Salesforce
엔터프라이즈 애플리케이션
Snowflake
데이터 레이크 및 데이터 웨어하우스
Splunk
엔터프라이즈 애플리케이션
혁신을 이끄는 데이터 배포 아키텍처
실시간 데이터 및 데이터 소스의 필요성이 갈수록 증가함에 따라 역동적인 기업은 복잡성을 해결하고 데이터 배포를 엄격하게 관리하여 비즈니스 요구 사항을 달성하고 있습니다.
고객
DataFlow는 산업 전반에서 실질적인 가치를 창출합니다.
블로그
Aaand the New NiFi Champion is…
Cloudera DataFlow Designer: The Key to Agile Data Pipeline Development
Self Service is Simply Efficient – Cloudera DataFlow Designer GA announcement
시작할 준비가 되셨나요?
함께 해 봅시다.