Cloudera DataFlow, GigaOm에서 스트리밍 데이터 플랫폼 부문 리더로 선정
개요

스트림 처리란 무엇인가요?

CSP(Cloudera Stream Processing)를 사용하면 스트리밍 데이터에서 복잡한 패턴을 분석하고 실행 가능한 인텔리전스를 얻을 수 있는 기능을 제공하여 스트림을 데이터 제품으로 바꿀 수 있습니다.

Apache Flink와 Kafka에 기반한 CSP는 완전한 엔터프라이즈급 스트림 관리와 상태 저장 처리 솔루션을 제공합니다. 스토리지 스트리밍 기반인 Kafka, 핵심 인스트림 처리 엔진인 Flink, SQL이나 REST와 같은 업계 표준 인터페이스에 대한 최고의 지원 등이 결합되어 개발자, 데이터 분석가, 데이터 과학자 등이 실시간 데이터 제품, 대시보드, 비즈니스 인텔리전스 앱, 마이크로서비스 및 데이터 과학 노트북을 구동하는 하이브리드 스트리밍 데이터 파이프라인을 쉽게 구축할 수 있습니다. 

사기 탐지, 네트워크 위협 분석, 제조 인텔리전스, 상거래 최적화, 실시간 제안, 즉각적인 대출 승인 등과 같은 사용 사례는 이러한 실시간 요구 사항을 해결하기 위해 데이터 처리 구성 요소를 스트림으로 이동시킴으로써 이제 가능하게 되었습니다.

Cloudera Stream Processing 기반의
하이브리드 스트리밍 데이터 파이프라인

하이브리드 스트리밍 파이프라인 다이어그램

사용사례

  • 사기 탐지
  • 고객 분석
  • 시장 모니터링
  • 로그 분석

사기 탐지


금융 사기로 인한 수백만 달러의 손실을 사전에 감지하여 예방합니다. 

소매, 금융 서비스 및 기타 부문의 기업들은 고객 데이터 보호와 금융 사기 발생 방지를 위해 최선을 다하고 있습니다. Cloudera  Streaming Processing이 가진 기능을 통해 고객 거래의 실시간 스트림을 처리하고 패턴을 식별하며 예측 경고를 생성하고 잠재적 사기 방지를 위한 실행 가능한 인텔리전스를 발견합니다.

PT Bank Rakyat Indonesia: 고객을 보다 깊이 이해하기 위한 Big Data, AI 및 ML의 활용

사기 발생률을 40% 감소시켰습니다.

사례 연구 읽어보기

고객 분석


실시간 고객 분석을 통해 참여, 유지 및 만족도를 향상시킬 수 있습니다.

모든 기업은 고객 참여 향상을 위해 실시간 분석을 필요로 하지만 과도한 데이터량으로 인해 이를 실행하는 데 어려움을 겪고 있습니다. Cloudera Stream Processing을 사용하면 1초 미만의 대기 시간으로 방대한 데이터량을 처리하는 동시에 고객 상호 작용을 감지하고 실시간으로 더 나은 제품을 추천하여 고객 분석을 실현합니다.

주요 항공사: 데이터 기반 자동화를 통한 고객 경험 향상

데이터 스트림의 한 번 전송 비용만으로 데이터양의 50% 감소

사례 연구 읽어보기

시장 모니터링


초당 수백만 건의 거래를 처리하고 금융 정보를 페타바이트 규모로 확장하세요.

증권 거래소는 실시간 보고 및 신속한 SLA 요건이라는 고객의 요구에 직면해 있습니다. 그러나 이러한 서비스를 제공하려면 페타바이트의 데이터를 처리해야 합니다. Cloudera Streams Messaging은 대량의 데이터를 쉽게 스트리밍할 수 있기 때문에 증권 거래소는 시장 기반 실시간 분석을 신속하게 생성하고 점점 더 까다로워지는 SLA를 충족할 수 있습니다.

Bombay Stock Exchange: 데이터 거버넌스 및 업계 SLA를 개선하기 위해 실시간 분석을 활용하는 세계에서 가장 신속한 증권 거래소

운영 비용 95% 절감

사례 연구 읽어보기

로그 분석


실시간 분석을 위해 로깅 인프라를 현대화하세요.

기업에게 로그 데이터는 갈수록 중요해지고 있습니다. 그러나 IT 조직은 효과적인 로그 수집 프로세스, 관련 정보의 업스트림 배포, 주요 지표 생성 등에 어려움을 겪고 있습니다. Cloudera Streaming Processing이 가진 기능을 통해 로그 처리를 확장하고 기업 전반에 실시간 통찰력을 제공하며 운영 비용을 대폭 절감할 수 있습니다.

Globe Telecom: 최신 분석 환경에서 모바일 고객의 디지털 라이프 스타일 구현

600PB의 모바일 데이터 용량 관리

사례 연구 읽어보기

기능

  • Apache Flink 기반 Streaming Analytics
  • Apache Kafka 기반 Streams Messaging

Streaming Analytics

SQL Stream Builder와 함께 Apache Flink로 구동되는 Cloudera Streaming Analytics는 다음 사항을 제공합니다.

  • 짧은 대기 시간 스트림 처리 기능 
  • REST 엔드포인트를 통해 업계 표준 SQL 및 APIS로 스트리밍 애플리케이션 작성을 허용하여 개발 단순화
  • 정교한 이벤트 기반 분석을 구축하는 고급 윈도우 기술
  • 멀티 클라우드 및 하이브리드 클라우드 모델 지원

주요 특징

SSB(SQL Stream Builder)는 포괄적인 인터랙티브 사용자 인터페이스로, 최적화된 Flink 작업으로 변환되는 SQL을 사용하여 상태 저장 스트림 처리 작업을 생성합니다. SQL을 사용하면 데이터 스트림을 필터링, 집계, 라우팅 또는 변형하는 표현식을 쉽고 간단하게 선언할 수 있습니다. SSB는 스트림에서 SQL을 작성 및 실행하고 결과를 위해 내구성 있는 데이터 API를 생성하는 데 사용할 수 있는 작업 관리 인터페이스입니다.

오류 및 재시도 중에도 데이터가 항상 정확히 한 번 처리되도록 보장합니다. 예를 들어 금융 서비스 기업은 소비자가 주택 모기지를 상환할 때 스트림 처리를 사용하여 수백 개의 백오피스 거래 시스템을 조정합니다.

순서가 맞지 않은 스트리밍 이벤트를 감지하고 처리합니다. 예를 들어 실시간 부정행위 감지 서비스에서는 데이터가 늦게 도착하더라도 올바른 순서에 맞게 처리되어야 합니다.

인메모리이며 한번에 하나씩인 스트림 처리 성능을 달성합니다. 예를 들어 신용카드 결제, 송금, 잔액 조회 등을 수행하는 3천만 명의 활성 사용자 요청 사항을 밀리초 대기 시간 내에 처리합니다.

수백 개의 스트리밍 소스와 스트림당 1초에 수백만 개의 이벤트를 처리할 때 이벤트를 트리거합니다. 예를 들어 환자가 응급실에 들어오면 시스템이 외부 시스템에 접근하여 수백 가지 소스에서 환자별 데이터를 가져와 환자가 검사실에 도착할 때 EMR에서 이를 사용할 수 있도록 합니다.

이러한 스트림을 웨어하우스, 관계형 데이터베이스, 데이터 레이크 등 기타 저장 데이터 소스와 손쉽게 통합, 결합 및 메시하지 못한다면 스트리밍 데이터가 가지는 가치는 거의 없다고 볼 수 있습니다. 즉시 사용 가능한 커넥터 또는 모든 데이터 소스에 대한 자체 커넥터를 사용하여 데이터 공급자를 구성합니다. 데이터 공급자가 생성되면 사용자는 DDL을 사용하여 가상 테이블을 쉽게 생성할 수 있습니다. 조인 및 집계와 같이 잘 알려진 SQL 구문을 사용하면 여러 스트림과 배치 데이터 소스 간의 복잡한 통합이 보다 용이해집니다.

스트림 메시징

Apache Kafka로 구동되는 Cloudera Streams Messaging은 다음 사항을 제공합니다.

  • 클러스터 모니터링/운영을 위한 Streams Messaging Manager
  • HA/DR 배포를 위한 Streams Replication Manager
  • 중앙 집중식 스키마 관리를 위한 Schema Registry
  • 간단한 데이터 이동과 변경 데이터 수집을 위한 Kafka Connect 및 지능형 재조정과 자가 치유를 위한 Cruise Control
  • 멀티 클라우드 및 하이브리드 클라우드 모델 지원

주요 특징

짧은 대기 시간과 높은 처리량으로 초당 수백만 개의 메시지를 지원하여 가동 중단 시간 없이 탄력적이고 투명하게 확장할 수 있습니다. 광범위한 스트리밍 데이터 이니셔티브를 해결하여 기업이 고객의 요구에 부응하고 더 나은 서비스를 제공하며 위험을 사전에 관리할 수 있도록 지원합니다.

Streams Messaging Manager는 엔드 투 엔드 가시성을 기반으로 하는 단일 창 뷰를 제공하며, 이를 통해 생산자, 브로커, 토픽, 소비자 등 Kafka 클러스터 전반에서 데이터가 이동하는 방식을 확인하고 엣지에서 클라우드에 이르는 데이터 계보 및 거버넌스를 추적할 수 있습니다. 또한 지능형 필터링 및 정렬을 통해 Kafka 환경에서의 문제 해결을 단순화합니다.

Mirrormaker 2를 기반으로 하는 Streams Replication Manager는 내결함성과 확장성을 가진 강력한 교차 클러스터 Kafka 토픽 복제를 제공하며 클러스터 및 토픽 수준에서의 복제 모니터링과 메트릭도 제공합니다. 또한 고가용성, 재해 복구, 클라우드 마이그레이션, 지리적 근접성 등도 제공합니다.

Schema Registry를 사용하면 공유 스키마 저장소에서 모든 작성자 및 고객 스키마의 진화를 관리, 공유 및 지원할 수 있으며, 이를 통해 Kafka 환경에서 애플리케이션이 유연하게 상호 작용할 수 있습니다. 또한 스키마 불일치로 인해 발생하는 중단을 완화합니다.

Cruise Control을 사용하면 대규모 Kafka 설치를 관리 및 로드밸런싱할 수 있으며 이상 항목 자동으로 감지하고 수정할 수 있습니다. 또한 빈번한 하드웨어/가상 머신 장애, 클러스터 확장/축소, 브로커 간에 발생하는 워크로드 차이와 같은 문제를 해결할 수 있습니다.

Cloudera SDX 는 모든 구성 요소에 중앙 집중식 보안, 제어 정책, 거버넌스 및 데이터 계보를 제공합니다. 이는 한번 설정되면 자동적으로 적용되며 벤더의 영향을 받지 않기 때문에 멀티 클라우드 및 하이브리드 클라우드 전략을 확실하게 수용할 수 있습니다. 또한 보안의 네 가지 핵심 요소인 ID, 액세스, 데이터 보호 및 가시성을 지원합니다.

클라우드에서의 Stream Processing


완벽하게 보호되고 관리되는 탄력적인 클러스터로 클라우드 구성 및 인프라 설정의 복잡성을 제거하면서도 AWS, Azure, GCP에서 10분 이내에 스핀업됩니다.

Data Hub를 위한 Streaming Analytics

Data Hub를 위한 Streaming Analytics는 퍼블릭 클라우드에서 Apache Flink 및 SQL Stream Builder를 스핀업하여 SQL 또는 애플리케이션 코드를 통해 실시간 데이터 스트림 처리를 하이브리드 클라우드 환경으로 가져옵니다. 

Data Hub를 위한 Streams Messaging

Data Hub를 위한 Streams Messaging은 스키마 거버넌스, 모니터링, 재해 복구, 지능형 재조정, 강력한 액세스 제어 및 감사 등을 처리하는 포괄적인 엔터프라이즈 관리 기능 세트를 통해 퍼블릭 클라우드에서 Kafka 클러스터를 스핀업하여 온프레미스 Apache Kafka에 대한 투자를 확대합니다. 

Stream Processing 제품 둘러보기

 

Cloudera Stream Processing Community Edition


CSP Community Edition을 사용하면 스트림 프로세서를 쉽게 개발할 수 있으며 데스크탑이나 다른 개발 노드에서 이를 바로 수행할 수 있습니다.


분석가, 데이터 과학자, 개발자는 이제 새로운 기능을 평가하고 SQL 기반 스트림 프로세서를 로컬에서 개발하며 Kafka Consumers/Producers 및 Kafka Connect Connectors를 모두 로컬에서 개발한 후 생산으로 이동합니다.


Stream Processing Community Edition으로 5분 안에 시작하여 실행하세요.

Whitepaper

오늘날 최고의 Kafka 에코시스템을 제공하는 Cloudera

Datasheet

Stream Processing 데이터시트

Whitepaper

Cloudera Data Platform을 통한 Apache Kafka의 관리, 모니터링 및 복제

Webinar

Kafka KConnect에서 NiFi 플로를 실행하는 방법

세계적인 수준의 교육, 지원 및 서비스

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.