작업 자동화 및 데이터 실무자 효율성 향상
데이터 과학자나 AI 엔지니어는 일상적인 워크플로에서 데이터 세트 업로드, 서로 다른 하이퍼파라미터에 대해 동일한 스크립트를 반복 실행 및 수정, 실험 모니터링 등 다수의 반복적이고 단순한 작업을 수행합니다. 이러한 작업을 AI 에이전트에 위임할 수 있다면 리소스를 절감하고 상당한 부가가치를 창출할 수 있습니다.
Cloudera AI Workbench MCP Server* 는 바로 이러한 목적으로 개발되었습니다. 이 서버는 에이전트 기반 워크플로와 보다 효과적으로 통합되도록 설계된 오픈 소스 Model Context Protocol(MCP) 서버입니다.
Cloudera MCP Server의 역할과 활용 방식
Cloudera MCP Server는 보안이 적용된 중계 계층 역할을 합니다. 이를 통해 Cloudera AI Agent Studio, Claude, Cursor와 같은 어시스턴트가 Cloudera AI Workbench 환경 내부에서 직접 작업을 실행할 수 있도록 지원합니다.
즉, 사용자는 어시스턴트에게 프로젝트 목록 조회, 파일 업로드, 작업 실행 등을 요청할 수 있으며, MCP Server는 플랫폼의 표준 API를 활용해 해당 작업을 실제로 수행합니다.
그림 1. Cloudera AI Workbench MCP Server: 아키텍처
기존 거버넌스와의 통합
Cloudera MCP Server는 기존 엔터프라이즈 거버넌스를 우회하지 않고, 이를 그대로 준수하도록 설계되었습니다.
데이터 과학자 및 AI 엔지니어의 경우: 채팅 인터페이스나 IDE를 벗어나지 않고도 플랫폼 작업을 시작할 수 있어 컨텍스트 전환을 줄일 수 있습니다. 어시스턴트는 작업 조정을 담당하고, 실제 실행은 플랫폼이 처리합니다.
플랫폼 및 MLOps 팀의 경우: 평가 스크립트 실행, 신규 데이터 세트 업로드, 유사한 테스트 실행을 손쉽게 트리거할 수 있습니다. 또한 애플리케이션 업데이트, 삭제, 재시작 및 실험 추적도 통합된 방식으로 관리할 수 있습니다.
설계 단계부터 고려된 보안
보안은 이 서버 설계의 핵심 요소로, 엔터프라이즈 환경에 적합하도록 구성되어 있습니다.
STDIO 전송 방식: 기본적으로 어시스턴트와 서버 간 통신에 표준 입력/출력(STDIO)을 사용합니다. 따라서 별도의 네트워크 엔드포인트를 개방하거나 관리할 필요가 없습니다.
자격 증명 관리: 서버는 Docker 시크릿 또는 환경 변수에서 자격 증명을 읽도록 설계되어 있어 키를 하드코딩하거나 명령줄 인수로 전달할 필요가 없습니다.
간편한 액세스 제어: 기존 Cloudera AI Workbench API 키를 그대로 사용하므로, 사용자 및 사용 사례별로 권한 범위를 적절히 설정할 수 있습니다.
그림 2. Cloudera Workbench MCP Server: 설계 단계부터 고려된 보안
Cloudera MCP Server 시작하기
Cloudera MCP Server는 기존에 구축된 거버넌스 체계 내에서 어시스턴트가 플랫폼과 직접 상호작용할 수 있도록 지원합니다.
시작 절차는 비교적 간단합니다.
- 서버 구성: 오픈 소스 서버를 Docker에서 실행하고, Cloudera AI Workbench 호스트와 API 키를 시크릿으로 설정합니다.
- 클라이언트 연결: Cloudera Agent Studio와 같은 선호하는 MCP 클라이언트를 STDIO 명령을 사용해 서버에 연결합니다.
- 첫 요청 실행: 어시스턴트에게 “내 프로젝트 목록을 보여줘”와 같은 요청을 보내 연결 상태를 테스트할 수 있습니다.
예시 워크플로
Cloudera MCP Server에 연결된 어시스턴트를 통해 다음과 같은 작업을 수행할 수 있습니다.
활성화된 모든 프로젝트를 나열하고 현재 실행 중인 작업을 표시
new-data-august.zip 파일을 “fraud-detection” 프로젝트에 업로드
train-v3.py 스크립트를 사용해 CPU 2개와 메모리 8GB를 할당한 작업을 생성하고 실행
“resnet-sweep”이라는 실험에 해당 메트릭을 기록하고 실행에 “new-data” 태그 지정
최신 모델 빌드를 가져와 스테이징 엔드포인트에 배포
“gradio-demo” 애플리케이션 재시작
이 서버에는 파일 관리, 작업 실행, 실험 추적, 모델 배포, 애플리케이션 관리 등 프로젝트 라이프사이클 전반에 걸쳐 이러한 워크플로를 지원하는 도구가 포함되어 있습니다.
자세히 알아보기
자세한 설정 절차, 예시, 전체 기능 목록은 Cloudera MCP Server GitHub 리포지토리를 참고하시기 바랍니다. 참고: GitHub 프로젝트는 현 상태 그대로(as-is) 제공되며, Cloudera의 공식 지원 대상이 아닙니다. Cloudera MCP Server 프로젝트는 Apache 2.0 라이선스로 제공되며, Cloudera는 해당 사용에 대해 어떠한 보증, 지원 또는 유지보수도 제공하지 않습니다.
MCP와 Cloudera가 어떻게 함께 작동하는지에 대해 더 알아보려면 블로그에 게시된 Cloudera MCP Server를 통한 생성형 AI의 컨텍스트 강화 글을 확인하시기 바랍니다.
