퍼블릭 클라우드를 위한 Cloudera DataFlow
Apache NiFi로 구동되는 범용 데이터 배포

어디서나 모든 데이터 소스에 연결하고 이를 처리하여 모든 대상으로 전달
사용사례
서버리스 노 코드 마이크로서비스
실시간에 가까운 파일 처리
데이터 레이크하우스 수집
사이버 보안 및 로그 최적화
IoT 및 스트리밍 데이터 수집
실시간에 가까운 파일 처리
DataFlow Functions는 서버리스 아키텍처에서 실시간에 가까운 파일 처리를 손쉽게 지원합니다.
DataFlow Functions는 AWS Lambda, Azure Functions, Google Cloud Functions 내에서 NiFi 플로를 실행함으로써 객체 저장소에서 파일을 사용할 수 있을 때마다 파일 처리에 가장 비용 효율적인 방법을 제공합니다. 자원은 데이터가 처리될 때만 실행되며 NiFi는 더 이상 끊임없이 실행될 필요가 없습니다. 또한 인프라 운영 비용에 대한 요구 없이 완전한 서버리스 아키텍처를 제공합니다.
데이터 레이크하우스 수집
어떤 데이터 레이크하우스 또는 웨어하우스와도 작동하는 단일 도구로 데이터 파이프라인을 현대화합니다.
450개 이상의 프로세서를 지원하는 Cloudera DataFlow를 통해 데이터를 손쉽게 수집하여 원하는 레이크하우스에서 필요로 하는 형식으로 변환합니다.
Cloudera DataFlow는 스키마를 적용하거나 스키마를 적용하여 비정형 데이터에 구조를 부여할 필요 없이, 손쉬운 데이터 변환을 위해 NiFi 표현 언어나 SQL 쿼리를 사용하지 않고도 비정형 데이터를 그대로 처리하고 높은 처리량을 달성할 수 있는 유연성을 제공합니다.
사이버 보안 및 로그 최적화
SIEM 데이터를 선별하여 데이터 분석가가 이벤트를 보다 빠르고 정확하게 감지하여 분석하도록 지원합니다.
전 세계 수천 개의 소스에서 실시간 데이터를 수집하고 필터링하기 위해 데이터 수집 파이프라인을 현대화하여 사이버 보안 솔루션에 드는 비용을 절감합니다.
모든 장치와 애플리케이션 로그를 SIEM 솔루션으로 수집하는 것은 비용 및 성능 측면에서 확장 가능한 접근 방식이라 하기 어렵습니다. Cloudera DataFlow를 통해 어디서나 로그 데이터를 수집하고 노이즈를 필터링하여 SIEM 시스템에 저장된 데이터를 관리할 수 있습니다.
DataFlow Functions 런타임은 효율적이고 비용 최적화되어 있으며 확장 가능한 방법을 제공하여 이벤트 기반 사용 사례를 위한 완전한 서버리스 방식으로 NiFi 플로를 실행합니다.
DataFlow Deployments는 CPU 사용률에 따라 NiFi 플로가 자동으로 확장 또는 축소됩니다. 인프라 비용은 자동 확장에 대한 최소 및 최대 범위를 설정하여 제어할 수 있습니다.
온프레미스 데이터 소스, 클라우드 데이터 스토리지, 클라우드 데이터 웨어하우스, 로그 데이터 소스, 클라우드 데이터 분석 서비스, 클라우드 비즈니스 프로세스 서비스 등 NiFi의 풍부한 프로세서 라이브러리를 사용하여 모든 데이터 소스 또는 대상에 연결합니다. 개발자는 ReadyFlows라는 최소한의 구성으로 사전 정의된 데이터 플로 세트를 빠르게 배포하여 가장 일반적인 데이터 플로 사용 사례를 구현할 수 있습니다.
어느 클라우드에서 실행하든 관계없이 단일 대시보드에서 모든 NiFi 플로 배포를 모니터링합니다. 플로 배포를 위한 KPI 경고를 정의하여 중요한 플로 성능 메트릭을 추적합니다.
안전하고 안정적이며 확장 가능한 엔드포인트를 쉽게 프로비저닝하여 어떤 애플리케이션도 데이터를 플로 배포에 쉽게 전송할 수 있습니다.
Cloudera DataFlow는 자동화를 염두에 두고 구축되었습니다 UI에서 수행되는 어떤 작업도 자동화를 위한 CLI 상태로 전환될 수 있습니다. 새로운 NiFi 플로의 배포는 단일 CLI 명령의 실행만큼 어렵지 않습니다.
어디서나 NiFi 플로를 개발하여 모든 클라우드에 배포
자동 확장 Kubernetes 클러스터나 서버리스 NiFi 플로를 통해

퍼블릭 클라우드의 런타임 옵션
기능 | DataFlow 배포 | DataFlow 기능 |
클라우드 런타임 |
Kubernetes/컨테이너를 사용하는 NiFi 클러스터 |
클라우드 제공업체의 서버리스 컴퓨팅 서비스(AWS Lambda, Azure Functions, Google Cloud Functions)에서 실행되는 NiFi 플로 |
---|---|---|
사용 사례 |
NiFi 플로의 지속적인 실행을 필요로 하는 높은 처리량 워크로드를 위해 짧은 대기 시간이 요구되는 사용 사례 | NiFi 플로가 지속적으로 실행될 필요 없는 1초 미만의 짧은 대기 시간이 요구되지 않는 이벤트 기반 마이크로 버스트 사용 사례 |
장점 |
중앙 집중식 모니터링을 통해 워크플로를 장기 실행하기 위한 자동 확장 Kubernetes 클러스터 | 개발자가 비즈니스 로직에 집중할 수 있도록 NiFi 플로를 서버리스로 실행하는, 효율적이고 비용 최적화된 확장 가능한 방법 |
측정 유닛 |
CCU(Cloudera Compute Unit) | 메서드 호출 횟수 |
엣지로부터의 데이터 수집
Cloudera Edge Management를 통해 스트리밍 및 IoT 이니셔티브용 엣지를 관리, 제어, 모니터링하고 노 코드 수집 및 관리로 실시간 스트리밍 데이터를 제공합니다.
시작하기
NIFI와 함께 하는 CLOUDERA 커뮤니티
동료와 소통하고 궁금한 점을 질문하며 문제점을 해결하고 Apache NiFi에 대해 자세히 알아 보세요.
NIFI 교육
Apache NiFi 기본 사항 등에 대한 3일간의 실습 교육 과정을 예약하세요.
제품 데모
Cloudera의 Public Cloud를 위한 DataFlow에 대해 소개 영상과 데모를 시청하세요.