AI 혁명이 남긴 교훈이 하나 있다면, 그것은 데이터 환경 전반에서 개방성과 상호운용성이 필수적이라는 점입니다. AI의 성능은 결국 AI가 접근할 수 있는 데이터에 의해 결정되기 때문입니다.
기업은 더 이상 단절된 레거시 기술에 투자하려 하지 않습니다. 한때 인프라 비용으로만 평가되던 사일로의 비용은 이제 가치 실현 지연과 AI의 대규모 운영 불가라는 문제까지 포함되며 기하급수적으로 증가했습니다. 이러한 상황에서 데이터 아키텍처를 재검토하는 것은 기업들의 필수 과제입니다.
Cloudera에서는 개방성을 다음 세 가지 계층의 데이터 관리 아키텍처로 정의합니다(그림 1 참고).
개방형 컴퓨팅: 데이터가 저장된 위치와 관계없이 어떤 엔진이든 활용할 수 있는 능력
개방형 카탈로그: 서로 다른 데이터 액세스 계층에서 교체 및 상호운용이 가능하며, 쿼리 엔진과 관계없이 스키마와 거버넌스를 일관되게 유지할 수 있는 능력
개방형 데이터: 데이터 자산의 위치에 관계없이 이를 이동 및 액세스할 수 있는 능력
거시적인 관점에서 볼 때 개방성은 Cloudera의 핵심 철학입니다.
Apache Iceberg 조기 지원: Cloudera는 2021년 퍼블릭 클라우드 Lakehouse에서 Iceberg를 지원하기 시작했습니다. 이후 다른 벤더들도 이러한 움직임에 빠르게 합류하며 암묵적으로 Iceberg가 개방형 테이블 형식 경쟁의 승자임을 인정했습니다. 2024년 Databricks는 개방형 거버넌스와 정교한 기능을 이유로 Tabular를 인수했습니다. 2025년에는 Snowflake와 Amazon Web Services(AWS) 모두 Iceberg 지원 및 기능 확대에 투자했습니다.
오픈 소스 기반과 에코시스템: 2008년 설립 이후 오픈 소스 커뮤니티에 깊이 관여해 온 Cloudera는 오픈 소스 데이터 레이크 기술을 상업화한 최초의 기업이며, 현재 50개 이상의 오픈 소스 프로젝트에 지속적으로 기여하며 이를 지원하고 있습니다. Cloudera의 오픈 소스 기반은 고객이 Cloudera 배포판을 자유롭게 선택하거나 사용하지 않을 수 있는 권한을 제공하여 독점 소프트웨어로 고객을 묶어두는 다른 벤더들에 비해 훨씬 유연한 선택권을 제공합니다. Cloudera 고객은 서비스를 억지로 이용할 필요 없이 계속 이용할지 스스로 선택할 수 있습니다.
데이터 관리 스택 전반의 상호운용성: 개방형 컴퓨팅, 카탈로그 및 데이터를 통해 데이터 관리 스택의 각 계층에서 상호운용성을 확보함으로써 고객이 AI 시대에 경쟁력을 갖추기 위해 데이터 인프라를 처음부터 새로 구축하지 않고도 성과를 낼 수 있도록 지원합니다. 또한 Cloudera는 고객이 원하는 컴퓨팅 엔진과 클라우드 서비스 제공자(CSP)를 자유롭게 선택할 수 있도록 지원하며, 데이터의 위치나 사용 엔진과 관계없이 모든 기능에 완전한 액세스를 제공합니다. 반면 일부 벤더는 스택의 모든 계층이 동일한 플랫폼에서 운영되는지 여부에 따라 기능에 대한 액세스를 제한하기도 합니다. 데이터를 소유하고, 데이터를 제어하며, 데이터를 활용하는 것. 이것이 바로 Cloudera가 약속하는 가치입니다.
AI 시대의 개방성의 중요성에 대해 자세히 알아보려면 블로그 게시글 미래를 현실로 만드는 AI 기반 데이터 레이크하우스를 읽어보세요.
