자율형 에이전트는 단계마다 인간의 지시가 없어도 복잡한 목표를 향해 자율적으로 행동합니다. 반면 엔터프라이즈 환경에서 이러한 에이전트를 배포하려면 훨씬 더 엄격한 과제를 해결해야 합니다. 에이전트는 이기종 데이터 시스템을 넘나들어야 하고, 규정 준수, 감사, 데이터 주권 관련 요구 사항을 충족해야 하며, 모든 데이터를 조직의 운영 경계 내부에 유지해야 합니다.
장기 워크플로를 수행하는 에이전트는 이러한 자율형 AI의 새로운 유형으로 단일 작업을 넘어 수십 단계에 걸친 연속된 의사결정을 통해 목표를 추구합니다. 이 에이전트는 몇 시간 또는 며칠 동안 워크플로를 실행하면서도 전체 과정에서 컨텍스트를 유지합니다. 엔터프라이즈 규모에서는 이러한 과제 하나하나가 훨씬 더 커집니다.
엔터프라이즈 AI 에이전트를 위한 아키텍처
Cloudera는 이러한 과제를 해결하기 위해 NVIDIA와 협력해 Cloudera Agent Studio *(Cloudera AI Studios의 일부) 를 설계했습니다.
NVIDIA Nemotron *은 모델 기반을 제공합니다. 이 모델은 에이전트형 AI와 장기 워크플로에서 요구되는 높은 처리량의 추론에 맞춰 설계되었습니다.
Cloudera Agent Studio *는 이 기반 위에 구축되는 오케스트레이션 계층을 제공하며, 동적 다단계 계획 수립, 투명한 멀티 에이전트 협업, 정확성 향상을 위한 컨텍스트 엔지니어링, 샌드박스 기반 실행이라는 네 가지 아키텍처 핵심 요소를 바탕으로 구성됩니다. 각 요소는 자율형 에이전트가 엔터프라이즈 규모로 운영될 때 발생하는 구체적인 요구사항을 해결하도록 설계되었습니다.
그림 1. Cloudera Agent Studio는 반복적인 다단계 계획 수립, 도구와 스킬을 활용한 멀티 에이전트 협업, 아티팩트 기반 컨텍스트 엔지니어링, 샌드박스 실행을 통해 자율형 워크플로를 오케스트레이션합니다. 이러한 구조는 NVIDIA NIM으로 구동되는 Cloudera AI Inference의 모델 서빙과 에이전트 기반 AI를 위한 Nemotron 모델을 기반으로 구축됩니다.
핵심 토대: NVIDIA Nemotron을 활용한 프라이빗 모델 배포
엔터프라이즈 AI는 데이터 거버넌스에서 시작됩니다. 프롬프트, 자체 데이터 및 모델 출력은 모두 조직의 운영 경계 내에 유지되어야 하며, 아키텍처를 훼손하지 않으면서도 규정 준수 요구를 충족해야 합니다. 이는 프라이빗 AI의 핵심 요건으로, 전체 추론 스택이 외부가 아닌 기업 내부에서 실행되어야 함을 의미합니다.
Cloudera AI Inference Service는 NVIDIA NIM 마이크로서비스를 기반으로 작동하며 기업 환경 내부에서 고성능·확장형 모델 운영을 지원하고 프롬프트, 데이터, 출력 결과를 모두 보안 경계 내에 유지합니다. 또한 이 서비스는 Blackwell GPU *와 Dynamo-Triton을 포함한 NVIDIA AI 스택으로 가속되어 다양한 모델을 지원합니다. 여기에는 고급 추론, 도구 활용 및 장기 워크플로 기능을 제공하는 에이전트 기반 AI용 NVIDIA Nemotron 모델군도 포함됩니다. 이러한 기반을 통해 조직은 자사 데이터를 활용해 엔터프라이즈 AI 에이전트를 안전하고 대규모로 구축하고 운영할 수 있습니다.
Cloudera Agent Studio의 4대 핵심 요소
1. 동적이고 반복적인 다단계 계획 수립
엔터프라이즈 데이터 환경은 정돈된 상태와는 거리가 멉니다. 실제 배포 환경에서는 스키마가 일관되지 않고 충분히 문서화가 되지 않은 수십 개의 데이터베이스가 사용되며, 비즈니스 질문에서 올바른 데이터 소스로 바로 연결되는 명확한 경로도 존재하지 않습니다. 따라서 에이전트는 런타임에 이러한 경로를 스스로 구성해야 합니다.
Agent Studio의 오케스트레이터는 탐색을 실행 과정의 일부로 다룹니다. 복잡한 요청을 다단계 계획으로 분해하고, 이를 반복적으로 수행하며, 각 단계마다 특정 경로를 확정하기 전에 자체 평가를 수행합니다. 이러한 자기 보정형 계획 루프를 통해 에이전트는 처음 접하는 환경에서도 안정적으로 작동하며, 여러 개의 순차적인 단계에 걸친 장기 워크플로를 유지할 수 있습니다.
2. 멀티 에이전트 협업: 재사용성과 투명성
복잡한 엔터프라이즈 워크플로는 여러 도메인에 걸쳐 있으며, 각 도메인마다 서로 다른 추론 방식과 특화된 도구가 필요합니다. 하나의 에이전트가 이 모든 영역을 포괄하려고 하면 어느 하나의 영역에도 충분히 최적화되기 어렵고, 범위가 넓어질수록 에이전트의 동작을 이해하고 관리하기도 어려워집니다.
Agent Studio는 특정 도메인에 맞게 범위가 설정된 특화 에이전트들을 중심으로 설계되었으며, 각 에이전트는 적절한 도구를 갖추고 작업 배분 방식을 이해하는 오케스트레이터의 조정 아래 협업합니다. 이러한 협업을 투명하고 재사용 가능하게 만드는 핵심은 에이전트 간의 통신 방식에 있습니다. 각 에이전트는 구조화된 출력 결과를 공유된 프로젝트 컨텍스트에 기록하고, 후속 에이전트는 이를 명시적이고 검토 가능한 입력으로 활용합니다. 따라서 모든 단계에서 전체 추론 과정을 추적할 수 있으며, 기업이 요구하는 감사 가능성을 확보하는 동시에 여러 실행에 걸쳐 이전 작업을 재사용할 수 있습니다.
3. 컨텍스트 엔지니어링: 정확성, 속도, 비용
엔터프라이즈 규모의 데이터 환경에서는 원시 데이터를 그대로 모델에 전달하는 방식이 제대로 작동하지 않습니다. 컨텍스트 윈도는 유한하며, 비정형 컨텍스트가 늘어날수록 윈도 한계에 도달하기 전부터 정확도가 떨어집니다.
Agent Studio는 컨텍스트 윈도를 정교한 도구처럼 다룹니다. 각 단계에서는 해당 에이전트의 특정 작업에 필요한 정보만 모델에 전달됩니다. 이러한 아티팩트 기반 설계는 토큰 사용량을 줄여 추론 비용과 지연 시간을 낮추면서도 정확도를 높입니다. 이 조합이 바로 엔터프라이즈 환경에서 장기 워크플로를 운영할 수 있게 해주는 핵심 요소입니다.
4. 샌드박스 기반 실행
자율형 에이전트의 강점은 워크플로 요구에 따라 도구, 기능, 실행 가능한 코드를 동적으로 생성할 수 있다는 점이며, Agent Studio는 이러한 기능을 기본적으로 지원합니다. 그러나 에이전트가 생성한 코드와 도구가 격리 없이 기업 시스템에 대해 직접 실행되면 허용하기 어려운 수준의 위험이 발생할 수 있습니다.
따라서 Agent Studio의 실행 계층은 기본적으로 격리를 전제로 설계되었습니다. 에이전트가 생성한 모든 코드와 도구 실행은 정의된 범위를 벗어난 시스템에 액세스할 수 없는 샌드박스 런타임에서 이루어집니다. 에이전트는 초기에는 아무 권한도 갖지 않으며, 모든 작업은 에이전트 프로세스 자체가 아니라 인프라 계층에서 정책에 따라 통제됩니다. 이를 통해 규제가 엄격한 산업에서도 에이전트의 기능을 제한하지 않으면서 필요한 감사 가능성을 확보할 수 있습니다.
고객 사례: 에이전트 기반 AI로 페타바이트 규모 데이터 분석 혁신
Cloudera는 고객 전반에 걸쳐 30엑사바이트 이상의 정형 데이터를 관리하고 있으며, 이 아키텍처는 특히 정형 데이터 분석 영역에서 즉각적인 효과를 발휘합니다. 한 글로벌 미디어·엔터테인먼트 기업은 이 아키텍처를 배포해 비즈니스 사용자와 분석가가 운영 데이터에 자연어로 액세스할 수 있도록 했습니다. 이 기업의 데이터 자산은 수십 개의 데이터베이스에 걸쳐 페타바이트 규모로 확장되어 있었고, 메타데이터가 서로 충돌하거나 문서화가 충분하지 않은 경우도 많았습니다.
Cloudera Agent Studio는 고객의 프라이빗 네트워크 내에서 실행되는 NVIDIA Nemotron 기반 전용 에이전트를 오케스트레이션했습니다. 비즈니스 사용자의 분석 질문이 입력되면 반복적 계획 수립 루프가 시작됩니다. 오케스트레이터는 데이터 자산을 탐색하고, 스키마의 불확실성을 해소하며, 적절한 데이터 소스를 자율적으로 식별합니다. 분석 과정에서 SQL로 표현하기 어려운 통계 연산이 필요한 경우, 오케스트레이터는 작업을 적합한 코드 실행 에이전트로 위임합니다. 중간 결과는 아티팩트 형태로 기록되어 장기 워크플로 전반에 걸쳐 다음 단계로 전달됩니다. 또한 생성된 모든 코드는 샌드박스 환경에서 실행되며 전 과정에 걸쳐 완전한 감사 추적 기능이 유지되었습니다.
기존에 데이터 엔지니어, 개발자, 분석가가 순차적으로 관여해야 했던 워크플로를 이제는 비즈니스 사용자 누구나 활용할 수 있게 되었습니다. SQL 명령, 생성된 코드, 시각화 결과를 포함한 에이전트의 출력은 모두 공유된 프로젝트 컨텍스트에 기록되며, 각각 검토 가능하고 감사 가능한 형태로 관리됩니다. 이러한 아티팩트는 프로덕션 파이프라인으로도 내보낼 수 있습니다. 또한 에이전트가 생성하는 코드는 기반 모델이 비결정론적이더라도 결정론적으로 유지되므로, 별도의 추가 개발 없이도 파이프라인을 안정적으로 재현하고 운영할 수 있습니다.
경쟁 우위를 만드는 아키텍처
이 아키텍처의 각 핵심 요소는 앞선 요소를 기반으로 구축됩니다. 프라이빗 추론 계층은 장기 워크플로에 필요한 호출량과 안정성을 뒷받침하는 기반을 제공합니다. 반복적 계획 수립은 에이전트가 처음 접하는 환경에서도 스스로 경로를 탐색할 수 있도록 합니다. 멀티 에이전트 협업은 다단계 추론에 도메인별 정밀성을 더합니다. 아티팩트 기반 컨텍스트 관리는 정확도를 높이는 동시에 추론 비용과 지연 시간을 줄입니다. 샌드박스 기반 실행을 통해 에이전트는 정해진 경계 안에서 안전하게 동작하며, 모든 작업은 거버넌스가 적용되고 감사 가능한 상태로 유지됩니다.
Cloudera와 NVIDIA는 Cloudera Agent Studio, NVIDIA NIM 기반 Cloudera AI Inference, 그리고 NVIDIA Nemotron 모델군을 통해 이러한 아키텍처를 구현하고 있습니다. 이를 통해 기업은 자사 데이터를 기반으로 엔터프라이즈 AI 에이전트를 직접 실행하는 데 필요한 오케스트레이션 및 에이전트 기반 추론 기반을 확보할 수 있으며, 보안과 프라이버시를 유지하면서도 대규모로 운영할 수 있습니다.
자세한 내용은 Cloudera Agent Studio의 실제 작동 사례를 통해 확인해 보시기 바랍니다.
