Cloudera Flow Management 4(Apache NiFi 2.0 기반)를 통한 데이터 중심 조직의 역량 강화
Apache NiFi는 오랫동안 데이터 엔지니어링의 초석 역할을 해왔으며, 데이터 수집, 변환, 배포를 위한 강력하고 유연한 프레임워크를 제공해왔습니다. Cloudera는 NiFi 발전에 핵심적으로 기여해온 기업으로서 그 발전과 도입에 중요한 역할을 해왔습니다. 최근 기술 프리뷰로 출시된 Cloudera Flow Management 4.0은 NiFi 2.0 기반의 첫 Cloudera Flow Management 릴리스로, 향상된 기능과 Cloudera가 데이터 플로 관리에서 지속적으로 선도하는 방법 등을 선보이게 되었습니다.
NiFi 2.0과 Cloudera Flow Management 4.0의 가치
Apache NiFi 2.0 기반의 Cloudera Flow Management 4.0은 다음과 같은 주요 개선 사항을 도입합니다.
성능 향상: NiFi 2.0은 데이터 플로를 보다 효율적으로 처리하고 대규모 워크로드로 확장할 수 있도록 성능이 대폭 향상되었습니다. 이러한 개선 사항을 통해 사용자는 보다 크고 복잡한 데이터 세트를 수집, 처리, 배포하는 데 있어 강력한 성능과 안정성을 확보할 수 있습니다.
개발 간소화: 새로운 플로 캔버스 인터페이스와 향상된 드래그 앤 드롭 기능을 통해 플로 개발이 보다 빠르고 직관적으로 이루어집니다. 이는 플로 개발 시간을 크게 단축시켜 비용 절감으로 이어집니다.
고급 보안: NiFi 2.0은 강화된 암호화 및 인증 매커니즘 등 개선된 보안 기능을 도입합니다. 이는 민감한 데이터 처리 시 보다 안전하고 신뢰할 수 있는 시스템이라는 확신을 제공합니다.
통합 확장: NiFi 2.0은 보다 광범위한 데이터 소스 및 시스템과 원활하게 통합되어 다양한 사용 사례에 적용 범위를 확장합니다. Apache NiFi 2.0에서는 Hive나 Accumulo와 같은 많은 구성 요소가 제거된 반면, Cloudera Flow Management 4.0은 Cloudera 내 애플리케이션과의 통합을 지원하기 위해 이러한 구성 요소를 특별히 유지합니다. 또한 Cloudera Flow Management 4.0에는 Iceberg뿐만 아니라 관계형 데이터베이스 시스템을 위한 Change Data Capture(CDC) 기능과 같은 새로운 통합 기능이 포함되어 있습니다. 이를 통해 사용자는 외부 시스템뿐만 아니라 Cloudera 애플리케이션을 활용하여 자체적인 엔드 투 엔드 시스템을 설계할 수 있습니다.
네이티브 Python 프로세서 개발: NiFi 2.0은 Python SDK를 제공하여 프로세서를 빠르게 개발하고 이를 플로에 배포합니다. 일반적으로 사용되는 일부 문서 파싱 프로세서가 Python으로 작성되어 이번 릴리스에 포함되었습니다. Cloudera Flow Management 4.0은 특히 데이터를 임베딩하고, 벡터 데이터베이스에 수집하며, 여러 생성형 AI 시스템에 프롬프트를 제공하고, Amazon Bedrock을 통해 대규모 언어 모델로 작업하기 위한 구성 요소를 추가합니다. 이를 통해 사용자는 비즈니스 사례를 강화할 수 있는 인상적인 생성형 AI 기능 세트를 활용할 수 있습니다.
플로 설계 모범 사례: NiFi 2.0은 플로 분석 규칙을 개발할 수 있는 규칙 엔진을 제공하여 플로 설계에 대한 모범 사례를 권장하고 시행합니다. Cloudera Flow Management 4.0은 스레드 관리, 권장 구성 요소 등에 대한 몇 가지 플로 분석 규칙을 제공합니다. Cloudera Flow Management 관리자는 이를 활용하여 사용 사례에 맞게 제대로 설계된 견고한 플로를 구현할 수 있습니다.
Cloudera와 NiFi - 지속적인 지원, 혁신, 그리고 간소화된 마이그레이션
Cloudera는 오픈 소스 커뮤니티에 활발히 기여하고 사용자에게 전문적인 지침을 제공하여, NiFi 개발의 원동력이 되어 왔습니다. Cloudera는 끊임없이 변화하는 데이터 환경 속에서 NiFi가 지속적으로 발전하고 그 중요성을 유지할 수 있도록 아낌없는 투자를 해왔습니다.
NiFi에 대한 Cloudera의 노력은 이니셔티브에서 분명하게 드러납니다. Cloudera는 Apache NiFi 커뮤니티에 적극적으로 참여하여 메일링 리스트, 포럼, 행사 등을 통해 지식과 모범 사례를 공유하고 사용자를 지원하고 있습니다. 또한 Cloudera Flow Management Operator를 통해 고객이 Kubernetes 애플리케이션 플랫폼에서 NiFi 클러스터와 NiFi Registry 인스턴스를 배포 및 관리할 수 있도록 지원합니다. Cloudera Flow Management Operator는 기업 전반에서 데이터 수집, 변환 및 전송을 간소화합니다. 운영자는 컨테이너화된 인프라를 활용하여 복잡한 데이터 플로의 오케스트레이션을 간소화합니다.
Cloudera는 NiFi 1 구성 요소 세트에서 NiFi 2 구성 요소 세트로 Cloudera Flow Management 플로를 마이그레이션하는 복잡하고 반복적인 과정을 간소화해 주는 마이그레이션 도구를 유일하게 제공합니다. 이를 위해 조직이 NiFi의 잠재력을 최대한 활용할 수 있도록 포괄적인 교육 및 컨설팅 서비스를 제공합니다.
데이터 플로 관리의 미래 주도
Apache NiFi 2.0 기반의 Cloudera Flow Management 4.0.0을 통해, Cloudera는 데이터 플로 관리 분야에서 리더십을 더욱 강화하고 있습니다. 앞으로도 NiFi의 개발에 지속적으로 투자하여 데이터 엔지니어와 데이터 과학자를 위한 강력하고 신뢰할 수 있는 도구로 자리매김할 수 있도록 할 것입니다. 또한 Cloudera Flow Management의 클라우드 기반 배포를 제공하여, 운영 효율성을 최적화할 뿐만 아니라 안심하고 엔터프라이즈 규모로 확장할 수 있도록 지원합니다. AI 기반 솔루션을 활성화하고 통합하며 향상시키는 기능은 Cloudera Flow Management의 핵심입니다. 아울러 지속적인 지원과 지침을 통해 고객이 NiFi의 모든 역량을 활용할 수 있도록 하여 비즈니스 크리티컬 데이터 이니셔티브를 추진할 수 있도록 지원합니다.
자세히 알아보기
Cloudera Flow Management의 새로운 기능을 살펴보고 데이터 파이프라인을 어떻게 혁신할 수 있는지 알아보려면 다음을 참조하세요.
