3년 전, Cloudera 고객들은 데이터 상호작용을 혁신하기 위해 생성형 AI를 도입하기 시작했습니다. 지능형 어시스턴트를 구축하고, 복잡한 문서를 요약하며, 필요할 때마다 통찰력을 생성하는 등 다양한 시도를 이어왔습니다. 그리고 현재는, 온프레미스와 클라우드 환경 전반에 걸쳐 25엑사바이트(즉, 250억 기가바이트!) 이상의 엔터프라이즈 데이터를 관리하고 있습니다.
엔터프라이즈 AI의 컨텍스트 격차
조직이 데이터를 관리하는 방식은 매우 중요합니다. AI 시대에 컨텍스트는 단순히 도움이 되는 수준에 그치지 않습니다. 정확한 의사 결정과 잘못된 결과를 가르는 차이를 결정합니다. AI 모델은 통찰력을 도출하고, 질문에 답하며, 워크플로를 자동화하기 위해 독점 데이터에 원활하게 액세스할 수 있어야 합니다. 그러나 대부분의 조직에서 이러한 데이터는 여전히 사일로화된 객체 저장소, Iceberg 테이블 Kafka 스트림, 운영 데이터베이스 등에 흩어져 있습니다. 개발자는 사용자 지정 커넥터를 작성하고 불안정한 파이프라인을 유지하는 데 소중한 시간을 낭비하게 됩니다. 이는 혁신에 대한 부담으로 작용하며, 가치 실현 시간을 지연시킵니다.
Cloudera MCP Server의 소개: 모든 데이터를 위한 범용 게이트웨이
이때 필요한 것이 바로 Cloudera MCP(Model Context Protocol) Server입니다. Cloudera 서버는 MCP를 기반으로 구축되어, 엔터프라이즈 데이터를 관리할 수 있는 범용 게이트웨이를 제공합니다. MCP는 개방형 표준 으로, Microsoft ODBC(Open Database Connectivity)가 관계형 데이터베이스를 표준화했던 것과 같은 방식으로 AI 통합 방식의 표준화를 목표로 합니다(MCP에 대한 자세한 내용은 다음 섹션에서 자세히 설명합니다).
이러한 목표의 실현을 위해, Cloudera는 Impala를 통한 Apache Iceberg용 Cloudera MCP Server를 출시합니다. Apache Iceberg는 최신 레이크하우스의 중추로, 페타바이트 규모의 데이터 관리, ACID 규정 준수, 시점 복원, 세분화된 거버넌스 등을 제공합니다. 데이터와 AI 간의 간극을 메우기 위한 완벽한 출발점입니다.
Cloudera는 Apache Iceberg에서 시작함으로써, 하나의 중요한 과제를 해결합니다. AI 애플리케이션은 별도의 사용자 지정 코드 없이도 분석 데이터에 거버넌스가 적용된 방식으로 실시간 액세스할 수 있어야 하기 때문입니다. 개발자는 Cloudera MCP Server를 통해 자연어로 Iceberg 테이블을 쿼리할 수 있습니다. 또한 CrewAI, Microsoft AutoGen, LangChain or LangGraph, LlamaIndex 등과 같은 프레임워크는 물론, 이들과 호환되는 NVIDIA Agent Intelligence(AIQ) 툴킷과 같은 에이전틱 AI 툴킷과도 매끄럽게 통합됩니다. 이 모든 과정은 Cloudera SDX 정책 기반의 강력한 보안 아래에서 이루어집니다. 그리고 이는 시작에 불과합니다. 앞으로 Cloudera MCP Server는 스트리밍 데이터, 운영 데이터베이스, 파일/객체 저장소까지 지원을 확장할 예정입니다.
그림1: AI 컨텍스트를 위해 AI 에이전트가 데이터에 액세스하는 두 가지 시나리오
- 좌: 공통 프로토콜이 없는 경우, AI 에이전트는 각 소스의 컨텍스트에 액세스하기 위해 여러 개의 고유한 API를 개별적으로 처리해야 합니다.
- 우: MCP는 액세스를 통합하여 에이전트가 단일 인터페이스를 통해 컨텍스트를 검색할 수 있게 함으로써, 통합을 단순화하고 확장성을 높여줍니다.
에이전틱 아키텍처를 위한 표준 통합 계층
조직이 에이전틱 아키텍처의 도입에 속도를 내는 가운데, 일관된 통합 계층의 중요성은 그 어느 때보다 커지고 있습니다.
"에이전틱 아키텍처 도입에 대한 열풍 속에, 조직은 여러 이니셔티브를 동시에 추진하고 있습니다. 이러한 추진력은 고무적이지만, 소프트웨어 엔지니어링 초창기에 흔히 보았던 스파게티 코드처럼 현대판 복잡성을 초래할 위험도 있습니다. 기업에게 진정으로 필요한 것은 간소화된 표준 기반 아키텍처로, 이를 통해 에이전틱 에코시스템에 참여하는 다양한 시스템 간의 상호 운용성을 보장할 수 있습니다. Anthropic의 MCP는 이 분야에서 유망한 표준으로 부상하고 있으며, 이미 AI 벤더들 사이에 광범위하게 채택되고 있습니다."
- Sanjeev Mohan, SanjMo 대표이자 전 Gartner 애널리스트
MCP는 Cloudera의 독점적인 도구가 아닙니다. 벤더 종속성 없이 확대되고 있는 도구 에코시스템과 연동할 수 있는, 널리 채택된 표준입니다. MCP Server에 대한 Cloudera의 접근 방식은 개방성, 단순성, 제어 가능성이라는 MCP 철학 과 맥을 같이합니다. Cloudera MCP Server는 Cloudera 통합 플랫폼 내에서 기본적으로 실행되기 때문에, 위험한 데이터 이동 없이 멀티 클라우드와 온프레미스 환경 전반에서 원활한 배포가 가능합니다.
Private AI의 핵심 원칙: 데이터에 대한 AI 컴퓨팅 적용
AI의 혁신적인 힘은 그 기반이 되는 데이터의 품질에 달려 있습니다. 데이터와 AI 시스템이 분리되어 운영되면, 정보 단절로 인해 통찰력 도출이 지연되고, 파이프라인이 불안정해지며, 모델은 정확한 의사 결정을 내리는 데 필요한 컨텍스트를 확보하지 못하게 됩니다.
Cloudera는 데이터와 AI 를 하나의 유기적인 라이프사이클로 통합합니다. 데이터는 공유 메타데이터, 보안 정책, 최적화된 컴퓨팅 리소스에 의해 관리되며, AI 워크플로로 매끄럽게 흘러들어갑니다. 이러한 접근 방식은 비용이 많이 드는 데이터 중복 및 이동을 제거하는 동시에, 모든 예측 결과의 출처까지 추적할 수 있어 투명성, 신뢰성, 규정 준수를 보장합니다.
이제 다음 단계로
통합 마찰 문제를 해결할 준비가 되셨나요? 현재 프리뷰로 제공되는 Apache Iceberg용 MCP Server를 여기에서 확인해 보세요. 데이터가 있는 바로 그 위치에서, AI 애플리케이션에 필요한 컨텍스트를 제공하여 어떻게 그 역량을 강화하는지 알아보세요. 지금 바로 실행에 옮기고 싶다면, 5일 무료 평가판을 사용해 보세요.
