AI 도입은 이제 새로운 국면에 접어들었습니다. 기업의 AI 프로젝트 가운데 88%가 실제 운영 단계에 이르기 전에 중단됩니다. 이는 아이디어가 부족하거나 모델이 성능이 떨어져서가 아니라 인프라가 이를 따라가지 못하기 때문입니다. 클라우드 API 비용은 빠르게 증가하고, 거버넌스는 뒤늦게 고려되는 경우가 많으며, 지연 시간도 점차 누적됩니다. 특히 규제 산업의 경우에는 민감한 데이터를 공개 엔드포인트로 이동시키는 방법은 고려할 수도 없습니다.
AI 파일럿과 전사적 운영 사이의 간극을 해소하려면 지능을 데이터가 있는 곳으로 직접 가져와야 합니다. Cloudera AI Inference Service *는 데이터가 있는 환경에서 직접 실행되는 안전하고 성능이 뛰어나며 비용 효율적인 프로덕션 모델 서빙 계층을 기업 팀에 제공합니다.
모델의 컨텍스트로 활용하기 위해 데이터를 클라우드로 전송하는 대신 Cloudera는 모델을 데이터가 있는 곳으로 가져옵니다. 이를 통해 AI 기능을 필요한 위치에서 바로 활용하고, 설계 단계부터 보안을 확보하며, 자체 방화벽 내부에서도 안정적으로 확장할 수 있습니다.
AI를 데이터가 있는 곳에서 실행해야 하는 3가지 이유: 프라이버시, 비용, 그리고 대규모 환경에서도 유연한 선택
데이터 프라이버시와 보호 유지
대부분의 AI 서비스는 데이터를 클라우드로 전송해야 하므로 규정 준수, 비용, 지연 시간과 관련된 위험이 발생할 수 있습니다. Cloudera는 모델을 데이터가 이미 존재하는 환경으로 가져오는 방식을 취합니다. 데이터가 안전한 가상 프라이빗 클라우드(VPC)에 있든, 완전히 오프라인으로 격리된 온프레미스 환경에 있든, 이러한 모델-투-데이터(model-to-data) 전략은 정보의 프라이버시와 거버넌스를 유지하면서도 프로덕션 환경에서 AI를 실행하기 위한 고성능 추론을 가능하게 합니다.
장기적으로 예측 가능한 비용 구조
AI를 클라우드에서 24시간 상시 실행하면 비용이 빠르게 늘어나고 예측하기도 어려워집니다. 요청 단위로 부과되는 요금 구조 때문에 사용량에 따라 예산이 계속 변동해 장기적인 비용 계획을 세우기가 쉽지 않습니다. 하지만 조직이 이미 보유하고 직접 관리하는 인프라에서 추론 작업을 수행하면 이러한 외부 사용료를 피할 수 있습니다. AI가 안정적인 운영 단계에 들어가면 비용의 예측 가능성이 높아지고, 워크로드가 확대될수록 투자수익률도 향상됩니다.
통제와 선택
대부분의 클라우드 AI 제공업체는 고객을 자사 고유 생태계로 유도해 모델을 자유롭게 전환하거나 확장하기 어렵게 만들고, 모델에 대한 완전한 통제도 제한하는 경우가 많습니다. 그러나 Cloudera AI Inference Service를 사용하면 NVIDIA의 Nemotron과 같은 오픈소스 생성형 AI LLM부터 전통적인 예측 모델에 이르기까지 다양한 AI 기능을 배포하면서도 지식재산에 대한 통제권과 소유권을 유지할 수 있습니다. 또한 Cloudera AI Inference Service는 NVIDIA AI 스택(NVIDIA Blackwell GPU, NVIDIA Dynamo-Triton, 고성능·확장형 모델 서빙을 위한 NVIDIA NIM 마이크로서비스)을 기반으로 처리 속도를 높여 AI 인프라의 유연성과 이동성을 유지하면서도 미래 변화에 대비한 환경에서 자유롭게 혁신할 수 있도록 지원합니다.
그림 1: Cloudera AI Inference Service 아키텍처
성공 사례: 온프레미스 환경에서 시작된 Cloudera AI Inference Service 도입
Cloudera AI Inference Service는 오프라인 환경, 주권 인프라, 지연 시간이 중요한 운영 환경 등 클라우드 사용이 어려운 환경에서도 새로운 AI 활용 사례를 실현하고 있습니다. 다음은 Cloudera AI Inference Service가 구현한 3가지 실제 활용 사례로, 현재 초기 도입 고객들을 통해 이미 진행 중입니다.
국가 안보: 중단 없이 작동하고 정보 유출 위험이 없는 에어갭 인텔리전스
국방 분야에서는 속도와 보안이 타협할 수 없는 조건입니다. 그러나 정보 분석 담당자들은 최근까지도 외부 네트워크와 완전히 분리된 민감한 문서를 수작업으로 검토하는 데 많은 시간을 들여야 했습니다. 절차는 복잡했고 처리해야 할 정보의 양은 방대했으며, 정보 노출 위험 때문에 공용 AI 도구를 활용하는 것도 불가능했습니다.
Cloudera AI Inference Service가 에어갭 환경 내부에서 실행되면서 국방 기관은 방대한 양의 문서를 몇 초 만에 분석하고 요약할 수 있는 강력한 LLM 기반 어시스턴트를 배포할 수 있게 되었습니다. 이러한 모델은 인터넷 연결이나 클라우드 의존 없이 완전히 오프라인 환경에서 작동하며 데이터 유출 위험도 없습니다. 따라서 분석가들은 보안을 훼손하지 않으면서 더 빠르게 의사결정을 내릴 수 있습니다.
글로벌 금융: 즉각적인 운영, 데이터 노출 제로
국경을 넘나드는 금융 업무 *는 수십 개 언어로 처리됩니다. 이전에는 계약서, 부정 거래 보고서, 규정 준수 관련 공지와 같은 문서를 번역하려면 외부 도구를 사용할 수밖에 없어 데이터 노출과 감사 가능성에 대한 심각한 우려가 제기되었습니다.
현재 세계적인 신용카드 기업 가운데 한 곳은 Cloudera AI Inference Service 도입을 검토하며 온프레미스 환경에서 다국어 모델을 배포하는 테스트를 진행하고 있습니다. 이를 통해 200개 이상의 시장에서 오가는 민감한 커뮤니케이션을 실시간으로 번역하면서도 모든 과정을 조직 내부에서 직접 관리할 수 있습니다. 고객은 추론을 자체 인프라에서 실행함으로써 내부 운영과 고객 대응 속도를 높이는 동시에 타사 API 사용에 따른 규정 준수 리스크도 피할 수 있습니다.
공공 부문: 모든 직원을 위한 AI 에이전트
정부 기관 *은 더 많은 시민에게 더 빠르게 서비스를 제공해야 한다는 압박을 받고 있습니다. 그러나 많은 공무원들이 여전히 오래된 포털과 방대한 정책 매뉴얼에 의존하고 있습니다. 개인정보 보호 규정과 예측하기 어려운 비용 문제 때문에 공용 생성형 AI 도구를 사용하는 것도 쉽지 않습니다.
Cloudera AI Inference Service의 초기 도입 사례에서는 기관 내부 문서를 기반으로 학습된 온프레미스 AI 챗봇을 지원하고 있습니다. 이러한 에이전트는 공무원과 시민이 복잡한 정책이나 행정 정보를 빠르고 정확하게 이해할 수 있도록 지원하며, 데이터, 프롬프트 및 결과에 대한 완전한 통제권을 유지한 상태에서 즉각적으로 답변을 제공합니다.
앞으로의 방향: 데이터가 있는 곳 어디에서나 활용 가능한 AI
Cloudera AI Inference Service는 모델을 데이터가 있는 환경으로 가져와 조직이 자체적인 기준에 맞춰 인텔리전스를 확장할 수 있도록 지원합니다. 이를 통해 예측 가능한 비용 구조를 확보하고, 다양한 프로덕션 모델 가운데 적합한 모델을 유연하게 선택할 수 있습니다. 에어갭 보안 요구 사항을 충족해야 하는 환경이든, 대규모 글로벌 운영을 최적화해야 하는 환경이든 이제 프로덕션 수준의 AI를 구현할 수 있는 길이 열렸습니다.
Cloudera AI *는 생성형 AI와 에이전트 기반 AI부터 전통적인 머신 러닝에 이르기까지 다양한 AI를 데이터 환경 전반에서 구축하고 배포하며 거버넌스를 적용할 수 있도록 지원하는 신뢰할 수 있는 기반입니다.
확장을 시작할 준비가 되셨습니까? 인프라가 AI 전략의 발목을 잡지 않도록 하세요. 활용 사례 데모는 Cloudera AI Inference Service 웹페이지에서 확인할 수 있습니다. 웨비나를 통해 자세한 내용을 알아보거나 데모를 신청 *해 “모든 접점에 적용 가능한 AI(AI anywhere)”를 실제로 구현하는 방법을 확인해 보세요.
