AI 기반 애플리케이션에 대한 수요가 급증함에 따라, 기업은 더 이상 분절되고 고립된 개발 방식을 감내할 수 없는 변곡점에 이르렀습니다.
전통적으로 AI 개발은 여러 도구와 프레임워크에 대해 전문성이 깊은 데이터 과학자나 머신 러닝 전문가가 수행해 왔습니다. 그러나 이제는 전문가가 아닌, 개발자라는 새로운 유형의 빌더가 등장했습니다. 이들은 실제 사용 사례를 해결하기 위해 생성형 AI가 가진 힘을 활용하는 데는 열정적이지만, 전문적인 AI 기술이 부족한 경우가 많습니다. 기업은 이러한 생성형 AI 빌더가 개발 복잡성을 간소화할 수 있도록 돕는 솔루션이 필요합니다. 보다 쉽고 빠르게 프로덕션 단계에 도달할 수 있도록 지원하면서 엔터프라이즈급 보안, 거버넌스, 확장성을 그대로 유지할 수 있어야 합니다.
또한 기존 엔터프라이즈 소프트웨어의 업그레이드 주기는 AI 혁신의 속도를 따라가기에는 너무 느립니다. 이러한 지연으로 인해 조직은 솔루션을 배포하기도 전에 구식 솔루션을 구축하게 되는 위험에 처하게 됩니다. 기업은 AI 환경의 변화에 발맞춰 진화할 수 있는 적응형 모듈식 솔루션이 필요하며, 이를 통해 솔루션을 항상 최첨단 상태로 유지할 수 있습니다.
Cloudera AI Studios는 이러한 문제를 해결하는 데 도움을 줍니다. 코드 확장성이 뛰어난 모듈식 노 코드 도구를 제공하여, 개발자가 AI 애플리케이션 라이프사이클의 각 단계를 손쉽게 따라가며 AI 도입을 빠르게 추진할 수 있도록 지원합니다. 또한 개발 과정을 간소화할 뿐만 아니라 다양한 사용자가 기반 기술에 대한 이해를 넓힐 수 있도록 설계되었기 때문에, 조직은 생성형 AI를 기반으로 실질적인 비즈니스 과제를 해결할 수 있습니다.
AI 혁신의 대중화: Cloudera AI Studios의 전략적 비전과 설계
생성형 AI로 실질적인 엔터프라이즈 가치를 제공하려면, AI 애플리케이션 전체 라이프사이클에서 각 단계를 능숙하게 다루는 역량이 필요합니다. AI Studios는 이러한 핵심 단계를 직접 매핑하도록 의도적으로 설계되어, 기술 수준에 관계없이 누구나 액세스할 수 있는 직관적인 로우 코드 도구를 통해 전체 프로세스를 대중화하였습니다.
개발의 각 단계를 사용자에게 자연스럽게 안내함으로써, 기존의 장벽을 없애고 가치 실현 시간을 획기적으로 단축합니다. Cloudera의 포괄적인 에코시스템은 생성형 AI 라이프사이클 전반에 걸쳐 핵심 과제를 해결합니다.
Synthetic Data Studio 는 엔터프라이즈급 합성 데이터 세트를 생성하여 규제 준수 및 데이터 부족 문제를 해결함으로써, 데이터 가용성을 새롭게 정의합니다.
Retrieval-Augmented Generation(RAG) Studio 는 기반 모델과 조직이 가진 지식을 매끄럽게 연결하여 모델 인텔리전스를 혁신하고, 컨텍스트를 인식하는 AI를 제공합니다.
Fine Tuning Studio 는 일반 모델을 특정 도메인 전문성에 맞춰 유연하게 조정하는 워크플로를 통해 모델 전문화를 재정의합니다.
Agent Studio 는 기업 전반에 측정 가능한 가치를 제공하는 정교한 에이전틱 애플리케이션을 통해 비즈니스 혁신의 새로운 지평을 개척합니다.
AI Studios의 핵심 설계 철학은 다음과 같습니다.
전문성 수준에 따른 맞춤 설정
AI 개발 단계 전반의 상호 운용 기능
오픈 소스 혁신의 통합 가속화
전문성 수준에 따른 맞춤 설정
기술 사용자와 비기술 사용자 간의 인위적인 경계는 그동안 혁신을 제약해 왔습니다. Cloudera의 아키텍처 접근 방식은 시각적 인터페이스와 풀 코드 환경을 사용자의 숙련도와 필요에 맞게 매끄럽게 전환할 수 있게 하여, 이러한 간극을 해소하고 AI Studios를 다른 로우 코드 솔루션과 차별화합니다. 이러한 의도적인 '탈출구(escape hatches)'는 기능이 제한된 독점 블랙박스 솔루션에 종속되는 것을 방지하여, 경영진이 본격적인 AI 개발을 위해 로우 코드 솔루션에 안심하고 투자할 수 있도록 합니다.
Cloudera의 아키텍처는 이미 입증된 엔터프라이즈급 셀프서비스 데이터 과학 제품인 Cloudera AI Workbench를 기반으로 구축되었습니다. 이 제품은 인터랙티브 노트북, 모델, 작업, 애플리케이션 등 개발자 친화적인 기능을 갖추고 있습니다. 개발자는 AI Workbench 내에서 AI Studios에 액세스하여 직관적인 시각적 인터페이스로 시작하며, 더 높은 수준의 제어나 전문성이 요구될 경우 사용자 정의 코딩 환경으로 전환할 수 있습니다.
Cloudera는 기술적 성장이 제약받기보다는 장려되어야 한다는 강한 신념 아래 AI Studios를 이렇게 설계하였습니다. 도메인 전문 지식을 갖춘 비즈니스 개발자는 시각적 인터페이스를 활용하고 동일한 환경에서 코딩 인터페이스를 통해 데이터 전문가와 효과적으로 협업함으로써, 기업 전반에 AI 도입을 가속화할 수 있습니다.
AI 개발 단계 전반의 상호 운용 기능
각 AI Studios는 독립적인 방식으로 완전하게 작동하도록 설계되어 있지만, 동일한 프로젝트 환경 내에서 생성된 결과물을 공유하여 다른 스튜디오들과도 원활하게 상호 운용할 수 있습니다. 이는 스튜디오 간 통합을 넘어, Cloudera AI 플랫폼 전체를 아우릅니다. 각 스튜디오는 기본 AI Workbench 및 AI Inference Services와 직접 통합되어, 데이터와 모델 거버넌스가 일관되게 유지되는 엔드 투 엔드 시스템을 구축합니다.
예를 들어, Synthetic Data Studio는 도메인별 학습 데이터를 생성하고, Fine Tuning Studio는 이를 활용해 기반 모델을 에이전틱 작업에 맞게 조정할 수 있습니다. 이렇게 전문화된 모델은 Cloudera AI 플랫폼을 통해 제공되어 Agent Studio에서 오케스트레이션되는 에이전틱 애플리케이션을 구동하며, RAG Studio를 통해 컨텍스트 지식을 향상시킬 수 있습니다. 이러한 다층적 상호 운용성 덕분에 조직은 포괄적인 AI 솔루션을 구축할 수 있으며, 사용자는 생성형 AI 라이프사이클의 어떤 단계를 지원받고 어떤 단계를 독립적으로 처리할지 유연하게 선택할 수 있습니다.
오픈 소스 혁신의 통합 가속화
Cloudera는 각 AI Studios를 AI 커뮤니티의 혁신 속도에 맞춰 빠르게 릴리스할 수 있도록, 독립적인 구성 요소로 구축하였습니다. 이러한 모듈형 아키텍처를 통해 AI Studios는 최첨단 오픈 소스 프레임워크를 활용할 수 있고, 핵심 기능에 영향을 미치지 않으면서도 기반 라이브러리를 교체할 수 있습니다.
이는 AI 혁신이 단일 조직만으로는 이루어질 수 없다는 Cloudera의 신념을 반영하며, 더 넓은 에코시스템의 공동 발전에 기여하는 방법으로 오픈 소스 혁신을 수용합니다.
Cloudera AI Studios 소개
AI Studios는 생성형 AI 라이프사이클의 각 핵심 단계를 위해 설계된 맞춤형 경험을 제공합니다. Synthetic Data Studio, Fine Tuning Studio, RAG Studio, Agent Studio로 구성되어 있습니다.
Synthetic Data Generation Studio
Synthetic Data Generation Studio는 미세 조정, 모델 학습 또는 정렬, 평가 등을 위한 합성 데이터 세트를 생성하기 위해 강력한 도구를 사용자에게 제공합니다. 또한 실제 데이터가 부족하거나 민감한 경우, 확장 가능하고 규정을 준수하는 대안을 제공합니다. 실제 패턴을 반영한 데이터를 생성함으로써, 조직이 CCPA(미국)나 GDPR(EU)과 같은 규제를 준수하는 동시에 AI 모델과 애플리케이션의 견고성을 강화할 수 있도록 지원합니다.
그림3: Cloudera AI Workbench 프로젝트 내의 Synthetic Data Studio
Fine Tuning Studio
Fine Tuning Studio는 모델 정확도와 도메인 관련성을 높여 특정 비즈니스 요구에 맞게 기반 모델을 맞춤화할 수 있는 원스톱 솔루션 역할을 합니다. 이 기능 없이 미세 조정을 하려면 방대한 코드를 작성하고 복잡한 워크플로를 관리해야 합니다. 사용자는 이 기능을 통해 단일 인터페이스로 어댑터를 기본 모델과 비교 및 평가하고 이를 학습시킬 수 있습니다. Fine Tuning Studio는 Cloudera AI Workbench 및 Inference와의 기본 통합, 감독형 미세 조정(SFT), MLflow 기반 평가 등을 기본으로 지원하여, 전체 모델 적응 프로세스를 간소화하고 가속화합니다.
RAG Studio
RAG Studio는 노 코드 인터페이스를 통해 RAG 애플리케이션을 빠르게 개발하고 배포할 수 있습니다. 외부 지식 소스를 대규모 언어 모델(LLM)과 통합함으로써, 사용자는 실시간 동적 데이터에 관한 문서 검색 및 질의응답 작업에 탁월하면서도 더 많은 정보에 입각하고 컨텍스트를 이해하는 AI 애플리케이션을 만들 수 있습니다.
Agent Studio
Agent Studio를 통해 기업은 LLM의 추론 기능과 기존 소프트웨어의 운영 역량을 결합한 AI 에이전트를 구축, 테스트 및 배포할 수 있습니다. Agent Studio는 Cloudera 플랫폼과의 기본 통합을 통해 Cloudera Data Flow, Cloudera Data Warehouse, Cloudera Data Visualization 등 Cloudera의 엔터프라이즈급 서비스 전체 제품군을 구성할 수 있고 호출할 수 있는 에이전트로서 고유하게 노출합니다. 이러한 기반을 오픈 소스 에이전트 및 프레임워크와 결합하면, 정형 및 비정형 데이터에서부터 실시간 스트림에 이르기까지, 다양한 데이터 환경에서 운영을 원활하게 조율하는 정교한 멀티 에이전트 오케스트레이션이 가능합니다.
엔터프라이즈 AI의 다음 단계
생성형 AI가 기업 혁신의 초석이 됨에 따라, AI Studios는 새로운 패러다임을 제시합니다. AI의 강력한 기능을 더 많은 사용자에게 제공하면서도, 조직이 요구하는 견고함과 보안을 그대로 유지합니다. AI Studios는 이제 Cloudera AI Workbench에서 이용할 수 있으며, Cloudera AI Inference 서비스와 함께 Cloudera의 엔터프라이즈용 AI 플랫폼을 강화합니다.
AI의 미래는 고도화된 알고리즘을 넘어, 기업 전반에서 AI의 접근성, 상호 운용성, 영향력을 높이는 데 있습니다. Cloudera의 5일 무료 평가판을 시작하여, 엔터프라이즈급 AI 애플리케이션 구축을 위한 첫걸음을 내디뎌 보세요.
