개요
 

NiFi 플로의 배포 및 모니터링에 대한 운영 문제 해결

Cloudera의 Public Cloud를 위한 DataFlow는 CDP(Cloudera Data Platform)에 대한 새로운 경험으로서 Apache NiFi 플로의 배포, 확장, 인프라 규모 조정에 대한 운영 문제를 해결하고 포괄적인 모니터링 기능을 제공합니다.

Public Cloud를 위한 DataFlow는 다음과 같은 문제를 해결합니다.

  • 동일 클러스터에서 여러 NiFi 플로 간에 자원을 공유하여 전체 성능에 영향

  • 클러스터 크기를 과소평가하여 계획하지 않은 인프라 비용 발생

  • 필요에 따라 인프라를 확장하여 운영상 문제 발생

  • 여러 클러스터에서 데이터 플로 메트릭을 한눈에 모니터링하는 것이 현재 도구로는 불가능

Public Cloud를 위한 DataFlow의 문제 해결 방법 읽어보기

 

 

Public Cloud를 위한 CDF 다이어그램

기능

  • 사전 구축된 NiFi ReadyFlows
  • 중앙 집중식 대시보드
  • 플로 카탈로그

사전 구축된 NiFi ReadyFlows


신규 및 전문 NiFi 사용자를 위해 사전 구축된 공통 NiFi 플로를 통해 생산성을 높이세요.

ReadyFlows는 신규 NiFi 사용자가 가장 일반적인 데이터 플로 사용 사례를 기반으로 시작할 수 있도록 지원하고 Cloudera DataFlow를 통해 이를 성공적으로 구현할 수 있도록 돕는 플로 정의입니다. 사용자는 플로 정의를 다운로드하고 속성을 빠르게 구성하여 Catalog로 가져온 후 퍼블릭 클라우드 환경으로 배포할 수 있습니다.

ReadyFlows의 예시는 다음과 같습니다.

  • Kafka를 Kafka로 사용

  • Kafka에서 사용 및 데이터를 필터링

  • Kafka를 S3 버킷으로 사용

DataFlow ReadyFlow 스크린샷

중앙 집중식 대시보드


하나의 대시보드에서 여러 클라우드 클러스터의 모든 NiFi 플로를 모니터링하세요.

Cloudera DataFlow 사용자 인터페이스 내의 대시보드 페이지는 환경 전반에서 모든 NiFi 플로를 배포하기 위한 중앙 모니터링 콘솔입니다. 사용자는 플로 메트릭과 인프라 사용을 모니터링할 수 있을 뿐만 아니라 성능 기대치 충족 여부를 확인하는 배포 상태를 알아볼 수 있습니다. 또한 보내고 받은 데이터의 상태를 모니터링하고 정의한 KPI에 대한 경고를 확인하여 배포 상태에 대한 통찰력을 얻을 수 있습니다.

DataFlow 모니터링 스크린샷

플로 카탈로그


모든 플로 정의를 한 곳에서 저장, 관리 및 배포하세요.

Cloudera DataFlow 사용자 인터페이스에서 마찬가지로 중요한 페이지인 카탈로그에는 플로 정의가 저장됩니다. 사용자는 가져오기에서 버전 관리와 삭제에 이르는 CDF 플로 정의 라이프사이클을 관리할 수 있습니다. 또한 플로를 카탈로그로 가져오면 퍼블릭 클라우드에서의 구성 및 배포를 위해 설정된 기존 NiFi 플로 정의를 가져올 수 있습니다. 카탈로그의 버전 관리 기능을 통해 플로의 특정 버전을 배포할 수도 있습니다. 

카탈로그 스크린샷

주요 특징

배포 마법사의 지정된 경계 내에서 CPU 사용을 기반으로 하여 CDP에서 관리하는 Kubernetes 클러스터의 플로 배포를 확장 및 축소합니다. 

개발자는 ReadyFlows라고 하는 사전 정의된 데이터 플로 세트를 통해 가장 일반적인 데이터 플로 사용 사례를 구현합니다. 사전 구축된 플로를 최소한의 구성으로 빠르게 배포할 수 있도록 개발자 생산성을 향상시킬 수 있습니다.

플로 정의는 카탈로그에 저장됩니다. 가져오기에서 버전 관리와 삭제에 이르는 CDF 플로 정의 라이프사이클을 관리할 수 있습니다. 카탈로그에서 새로운 플로 배포를 시작할 수도 있습니다.

간단한 단계별 프로세스를 통해 카탈로그의 플로 정의를 데이터 처리를 위한 플로 배포로 전환합니다. 사용자는 파라미터를 구성하고 자동 확장을 위한 가드레일을 생성하며 플로 배포를 위한 KPI 정의를 설정할 수 있습니다.

여러 클러스터에서 다양한 플로 배포를 실시간으로 한눈에 모니터링할 수 있습니다. 대시보드의 배포 세부 정보에는 사전 정의된 KPI, 시스템 메트릭, 시스템 이벤트 및 경고가 표시됩니다.

퍼블릭 클라우드 환경에서 Kubernetes 지원을 통해 개별 플로 배포를 분리할 수 있으며 자원 경합 없이 각 클러스터를 확장할 수 있습니다. 또한 오류를 해결하고 분리할 수도 있습니다.

조금 더 자세히 살펴볼까요?


Public Cloud를 위한 DataFlow를 직접 경험해 보세요

시작하기

제품 문서

Cloudera의 Public Cloud를 위한 DataFlow에 대해 기술 사양, 아키텍처, 튜토리얼 및 사용법을 읽어 보세요.

자세히 알아보기

퍼블릭 클라우드를 위한 CDF 가격


다양한 클라우드 인스턴스 유형에서 Cloudera의 Public Cloud를 위한 DataFlow의 가격을 확인해 보세요.

세부 정보 보기

DATAFLOW 개요 투어

Cloudera의 Public Cloud를 위한 DataFlow를 직접 경험해 보세요.

지금 액세스하기

NIFI와 함께 하는 CLOUDERA 커뮤니티

동료와 소통하고 궁금한 점을 질문하며 문제점을 해결하고 Apache NiFi에 대해 자세히 알아보세요.

지금 알아보기

NIFI 교육

Apache NiFi 기본 사항 등에 대한 3일간의 실습 교육 과정을 예약하세요.

무료 교육 과정 듣기

제품 웨비나

Cloudera의 Public Cloud를 위한 DataFlow에 대해 소개 영상과 데모를 시청하세요.

시청하기

Datasheet

Cloudera의 Public Cloud를 위한 DataFlow

Solution Brief

전송 데이터 철학: 엔터프라이즈 부분의 스트리밍 데이터 아키텍처 청사진

세계적인 수준의 교육, 지원 및 서비스

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.