Cloudera의 개방형 데이터 레이크하우스 전략은 고객이 Cloudera 자체 엔진은 물론 타사 엔진 및 오픈 소스 기반 도구까지 자유롭게 선택해 사용할 수 있도록 지원합니다. Cloudera는 최신 데이터 에코시스템의 복잡성을 이해하며, 엔진에 구애받지 않는 접근 방식을 통해 분석 또는 AI 애플리케이션과 에이전트를 구축하기 위해 데이터에 액세스하는 팀 사이의 원활한 협업을 보장합니다. 또한 당사는 레이크하우스에 속도, 보안, 자동화 및 상호운용성을 강화하는 혁신적인 기능들을 지속적으로 추가해, 모든 엔진이 동시에 효율적으로 실행되고 모든 기능과 최적화를 활용할 수 있도록 합니다.
Cloudera Lakehouse Optimizer *는 예측 기반의 지능형 최적화를 제공해 Apache Iceberg 테이블 유지 관리를 자동화하고, 개방형 데이터 레이크하우스의 성능, 확장성 및 비용 효율성을 안정적으로 유지합니다. 이러한 서비스를 통해 데이터 팀은 모든 AI 및 분석 워크로드를 처리할 수 있는 비용 효율적인 레이크하우스를 확보할 수 있습니다.
성능으로 입증: 쿼리 속도 13배 향상, 스토리지 비용 36% 절감!
Cloudera는 성능과 비용 효율성이 무엇보다 중요하다는 것을 알기에 내부 벤치마크에서 얻은 주목할 만한 결과를 공유합니다. Cloudera는 7개의 TPC-DS 테이블(총 107GB 데이터)을 대상으로, 최적화 전후에 TPC-DS 쿼리를 실행해 Cloudera Lakehouse Optimizer의 효과를 검증했습니다. 캐시 효과를 고려하고 이상치를 제거한 이후에도 다음과 같이 유의미한 결과를 확인할 수 있었습니다.
쿼리 속도 13배 향상: 데이터에 따르면 평균 쿼리 시간이 13배 개선되어 최적화 이후 평균 쿼리 시간이 24초에서 단 1.8초로 단축되었습니다.
스토리지 비용 36% 절감: Cloudera Lakehouse Optimizer는 스토리지 사용량을 최적화하여 상당한 비용 절감 효과도 제공합니다. 당사의 벤치마크에 따르면 데이터 세트 크기는 107GB에서 68GB로 36% 감소했습니다. 이는 곧바로 총소유비용(TCO) 절감으로 이어집니다.
이러한 결과는 Cloudera Lakehouse Optimizer가 다운스트림 AI, 보고 및 분석의 쿼리 성능을 향상하며 스토리지 비용까지 대폭 절감한다는 점을 분명하게 보여줍니다.
Cloudera Lakehouse Optimizer의 차별화 요소
Cloudera Lakehouse Optimizer는 비용 관리를 중시하는 플랫폼 책임자, 확장 가능한 아키텍처를 설계하는 데이터 아키텍트, 프로세스를 간소화하려는 데이터 엔지니어 등 모든 사용자에게 적합하게 설계되었습니다. 정책 템플릿과 기본 설정이 함께 제공되어 광범위한 구성 없이도 즉시 최적화를 시작할 수 있습니다. 구체적인 요구 사항에 대해서는 그래픽 사용자 인터페이스(GUI)와 애플리케이션 프로그래밍 인터페이스(API)를 통해 업계 최고 수준의 제어 기능을 제공합니다.
다음은 Cloudera Lakehouse Optimizer가 테이블 최적화를 통해 성능 및 스토리지 관련 이점을 제공하는 고유한 방식을 설명합니다.
지능형 정책: Cloudera Lakehouse Optimizer는 각 테이블에 최적화가 필요한지를 평가해 필요한 작업만 수행하며, 최적화가 요구되는 시점에 이를 자동으로 실행합니다. 또한 모든 Iceberg 최적화 기능에 대해 풍부하고 구성 가능한 작업 인수를 제공하며, 광범위한 인수 세트를 통해 최대 성능을 구현합니다.
엔진 및 스토리지 독립성: Lakehouse Optimizer로 테이블이 최적화되면 Cloudera 자체 엔진, 오픈 소스 엔진, 타사 엔진 등 어떤 엔진이 레이크하우스 데이터에 액세스하더라도 동일한 쿼리 성능 개선 효과를 확인할 수 있습니다. 이러한 최적화는 클라우드 객체 스토리지뿐만 아니라 온프레미스 객체 스토리지에 저장된 데이터에도 동일하게 적용됩니다.
탁월한 적용 범위와 제어 수준: Cloudera Lakehouse Optimizer는 정책 적용 범위에 대해 세분화된 제어 기능을 제공합니다. 사용자는 테이블 단위, 네임스페이스 단위, 나아가 전체 카탈로그 수준까지 정책을 생성하고 적용할 수 있어, 레이크하우스가 발전함에 유연하고 확장성 있는 관리가 가능합니다. 또한 거의 모든 Iceberg 인수에 대해 최적화를 정의할 수 있어 해당 테이블에 가장 적합한 정책을 정의할 수 있습니다. 이처럼 광범위한 적용 범위는 정책 적용 수준이 제한적인 다른 솔루션과 비교했을 때 Cloudera Lakehouse Optimizer만의 중요한 차별화 요소입니다. 최적화 도구에는 전용 GUI도 포함되어 있어, 모든 사용자가 손쉽게 최적화 정책을 구성하고 모니터링할 수 있습니다. 또한 프로그래밍 방식의 제어를 위해 포괄적인 API 및 명령줄 인터페이스(CLI) 액세스도 제공되어, 다양한 사용 환경에서의 편의성을 보장합니다. 이를 통해 최적화 실행 시점과 방식에 대해 다음과 같은 높은 수준의 유연성과 제어를 확보할 수 있습니다.
- 이벤트 기반 지능형 스케줄링: 업데이트, 삽입, 삭제와 같은 테이블 이벤트가 발생할 경우 자동으로 최적화를 트리거합니다.
- 시간 기반 스케줄링: 크론(cron) 방식의 스케줄을 사용해 정기적으로 최적화를 실행할 수 있습니다. 이 기능은 AWS S3 Table Maintenance나 Databricks Predictive Optimizer에서는 제공되지 않습니다.
- 수동 실행: 정책을 수동으로 트리거해 필요에 따라 최적화를 즉각적으로 수행할 수 있습니다.
레이크하우스를 혁신할 준비가 되셨나요?
자동화되고 지능적인 Iceberg 테이블 최적화의 강력한 기능을 직접 경험하고, 눈에 띄는 성능 향상 및 비용 절감 효과를 지금 바로 확인해 보시기 바랍니다.
데모 동영상을 시청하고 Cloudera Lakehouse Optimizer에 대해 더 자세히 알아보세요.
특별 프로모션 혜택을 놓치지 마세요! 2026년 4월 26일까지 Cloudera Lakehouse Optimizer를 통해 처리되는 모든 데이터를 무료로 이용할 수 있습니다! 최소 기본 비용만 발생하며, 이번 프로모션을 통해 데이터 처리 비용 부담 없이 Cloudera Lakehouse Optimizer의 기능을 마음껏 경험해 보실 수 있습니다. 또한 Cloudera Management Console을 통해 사용량 한도를 설정할 수 있어, 비용이 예상 수준을 초과하지 않도록 관리할 수 있습니다.
