이벤트 기반 단기 사용 사례를 위한 DataFlow Functions의 GA 발표

Cloudera Data Platform

Public Cloud를 위한 DataFlow

Apache NiFi에서 구동되는 클라우드 네이티브 서비스를 통해 어디서나 모든 데이터 소스에 연결하고 이를 처리하여 모든 대상에게 제공합니다.

개요

어디서나 유연하게 데이터를 전달하는 동시에 데이터 배포를 제어

CDF-PC는 개발자가 데이터 배포 파이프라인을 설계, 개발 및 테스트하는 방법에 가장 적합한 플로 기반 로우 코드 개발 패러다임을 제공합니다. 데이터 레이크, 레이크하우스, 클라우드 웨어하우스, 온프레미스 소스 등 하이브리드 클라우드 서비스 에코시스템에서 450개 이상의 커넥터와 프로세서를 갖춘 CDF-PC는 무차별적인 데이터 배포를 제공합니다. 이러한 데이터 배포 플로는 그 후 카탈로그로 버전 제어되어 운영자가 다른 런타임에 배포할 수 있습니다.

퍼블릭 클라우드를 위한 Cloudera DataFlow

Apache NiFi로 구동되는 범용 데이터 배포

어디서나 모든 데이터 소스에 연결하고 이를 처리하여 모든 대상으로 전달

사용사례

서버리스 노 코드 마이크로서비스
실시간에 가까운 파일 처리
데이터 레이크하우스 수집
사이버 보안 및 로그 최적화
IoT 및 스트리밍 데이터 수집

서버리스 노 코드 마이크로서비스

DataFlow Functions는 무한 확장으로 마이크로서비스를 구축하는 최초의 시각적 노 코드 솔루션입니다.

DataFlow Functions는 AWS Lambda, Azure Functions, Google Cloud Functions 내에서 NiFi 플로를 실행함으로써 HTTPS 요청으로 트리거되는 마이크로서비스를 구축할 수 있도록 사용하기 쉬운 노 코드 UI를 제공하는 최초의 솔루션입니다. 서버리스 환경에서 즉시 무한 확장으로 API 엔드포인트를 구축할 수 있는 옵션을 제공합니다.

실시간에 가까운 파일 처리

DataFlow Functions는 서버리스 아키텍처에서 실시간에 가까운 파일 처리를 손쉽게 지원합니다.

DataFlow Functions는 AWS Lambda, Azure Functions, Google Cloud Functions 내에서 NiFi 플로를 실행함으로써 객체 저장소에서 파일을 사용할 수 있을 때마다 파일 처리에 가장 비용 효율적인 방법을 제공합니다. 자원은 데이터가 처리될 때만 실행되며 NiFi는 더 이상 끊임없이 실행될 필요가 없습니다. 또한 인프라 운영 비용에 대한 요구 없이 완전한 서버리스 아키텍처를 제공합니다.

데이터 레이크하우스 수집

어떤 데이터 레이크하우스 또는 웨어하우스와도 작동하는 단일 도구로 데이터 파이프라인을 현대화합니다.

450개 이상의 프로세서를 지원하는 Cloudera DataFlow를 통해 데이터를 손쉽게 수집하여 원하는 레이크하우스에서 필요로 하는 형식으로 변환합니다.

Cloudera DataFlow는 스키마를 적용하거나 스키마를 적용하여 비정형 데이터에 구조를 부여할 필요 없이, 손쉬운 데이터 변환을 위해 NiFi 표현 언어나 SQL 쿼리를 사용하지 않고도 비정형 데이터를 그대로 처리하고 높은 처리량을 달성할 수 있는 유연성을 제공합니다.

사이버 보안 및 로그 최적화

SIEM 데이터를 선별하여 데이터 분석가가 이벤트를 보다 빠르고 정확하게 감지하여 분석하도록 지원합니다.

전 세계 수천 개의 소스에서 실시간 데이터를 수집하고 필터링하기 위해 데이터 수집 파이프라인을 현대화하여 사이버 보안 솔루션에 드는 비용을 절감합니다.

모든 장치와 애플리케이션 로그를 SIEM 솔루션으로 수집하는 것은 비용 및 성능 측면에서 확장 가능한 접근 방식이라 하기 어렵습니다. Cloudera DataFlow를 통해 어디서나 로그 데이터를 수집하고 노이즈를 필터링하여 SIEM 시스템에 저장된 데이터를 관리할 수 있습니다.

IoT 및 스트리밍 데이터 수집

엣지에 있는 IoT 장치에서 필요에 따라 확장 및 축소되는 클라우드의 중앙 데이터 플로로 데이터를 전송합니다.

Cloudera DataFlow는 스트리밍 데이터를 규모에 맞게 처리할 수 있도록 구축되었기 때문에 조직이 IoT 프로젝트를 소규모로 시작할 수 있도록 지원하지만, 조직의 데이터 플로는 더 많은 소스 장치를 추가하여 발생하는 데이터 버스트를 관리할 뿐만 아니라 간헐적인 연결성 문제도 확실하게 처리합니다.

주요 특징

DataFlow Functions 런타임은 효율적이고 비용 최적화되어 있으며 확장 가능한 방법을 제공하여 이벤트 기반 사용 사례를 위한 완전한 서버리스 방식으로 NiFi 플로를 실행합니다.

DataFlow Deployments는 CPU 사용률에 따라 NiFi 플로가 자동으로 확장 또는 축소됩니다. 인프라 비용은 자동 확장에 대한 최소 및 최대 범위를 설정하여 제어할 수 있습니다.

온프레미스 데이터 소스, 클라우드 데이터 스토리지, 클라우드 데이터 웨어하우스, 로그 데이터 소스, 클라우드 데이터 분석 서비스, 클라우드 비즈니스 프로세스 서비스 등 NiFi의 풍부한 프로세서 라이브러리를 사용하여 모든 데이터 소스 또는 대상에 연결합니다. 개발자는 ReadyFlows라는 최소한의 구성으로 사전 정의된 데이터 플로 세트를 빠르게 배포하여 가장 일반적인 데이터 플로 사용 사례를 구현할 수 있습니다.

어느 클라우드에서 실행하든 관계없이 단일 대시보드에서 모든 NiFi 플로 배포를 모니터링합니다. 플로 배포를 위한 KPI 경고를 정의하여 중요한 플로 성능 메트릭을 추적합니다.

안전하고 안정적이며 확장 가능한 엔드포인트를 쉽게 프로비저닝하여 어떤 애플리케이션도 데이터를 플로 배포에 쉽게 전송할 수 있습니다.

Cloudera DataFlow는 자동화를 염두에 두고 구축되었습니다 UI에서 수행되는 어떤 작업도 자동화를 위한 CLI 상태로 전환될 수 있습니다. 새로운 NiFi 플로의 배포는 단일 CLI 명령의 실행만큼 어렵지 않습니다.

어디서나 NiFi 플로를 개발하여 모든 클라우드에 배포
자동 확장 Kubernetes 클러스터나 서버리스 NiFi 플로를 통해

퍼블릭 클라우드의 런타임 옵션

기능	DataFlow 배포	DataFlow 기능
클라우드 런타임	Kubernetes/컨테이너를 사용하는 NiFi 클러스터	클라우드 제공업체의 서버리스 컴퓨팅 서비스(AWS Lambda, Azure Functions, Google Cloud Functions)에서 실행되는 NiFi 플로
사용 사례	NiFi 플로의 지속적인 실행을 필요로 하는 높은 처리량 워크로드를 위해 짧은 대기 시간이 요구되는 사용 사례	NiFi 플로가 지속적으로 실행될 필요 없는 1초 미만의 짧은 대기 시간이 요구되지 않는 이벤트 기반 마이크로 버스트 사용 사례
장점	중앙 집중식 모니터링을 통해 워크플로를 장기 실행하기 위한 자동 확장 Kubernetes 클러스터	개발자가 비즈니스 로직에 집중할 수 있도록 NiFi 플로를 서버리스로 실행하는, 효율적이고 비용 최적화된 확장 가능한 방법
측정 유닛	CCU(Cloudera Compute Unit)	메서드 호출 횟수