지난 몇 년간 AI 논의의 핵심은 AI 활용 기회를 넓히는 것이었습니다. 팀이 모델을 사용할 수 있게 하고, 빠르게 실험하며, 활용 사례를 검증하는 데 초점이 맞춰져 있었습니다. 하지만 이러한 단계는 끝나가고 있습니다. 이제 조직은 ‘모델은 누가 통제하는가?’, ‘데이터는 어디로 이동하는가?’, ‘장애가 발생하면 어떻게 되는가?’와 같은 새로운 질문을 던지고 있습니다.
흉부 X선 영상으로 폐렴 진단을 보조하기 위해 AI를 사용하는 병원을 가정해 보겠습니다. 호흡 곤란을 겪는 환자가 병원을 찾습니다. 의사는 스캔 이미지를 업로드하고 결과를 기다리지만 시스템은 응답하지 않습니다. 진단 애플리케이션이 의존하는 모델이 퍼블릭 클라우드에 호스팅되어 있고 일시적으로 사용할 수 없는 상태이기 때문입니다.
의료 현장에서는 이러한 지연이 중요한 문제가 됩니다. 이 사례는 주의 깊게 들여다볼 필요가 있습니다. AI 논의에서 자주 놓치는 중요한 점을 보여주기 때문입니다. 어떤 모델을 사용하는지만큼이나 그 모델을 어디에서 실행하는지도 중요합니다.
신뢰성을 고려한 설계
퍼블릭 클라우드 덕분에 더 많은 조직이 AI를 쉽게 활용할 수 있게 되었고, 이는 분명 의미 있는 변화입니다. 하지만 반드시 안정적으로 계속 운영되어야 하는 애플리케이션의 경우, 외부 서비스에 의존하는 구조가 적절한지 아키텍처 차원에서 신중히 검토해야 합니다.
이 문제는 서비스가 어느 정도의 가동 시간을 보장해야 하는지라는 관점에서 생각해볼 수 있습니다. 가동 시간 99.9%를 보장하는 서비스 수준 계약(SLA)이라도 연간 약 9시간의 다운타임은 발생할 수 있습니다. 일반 소비자용 앱에서 이러한 상황은 사용자가 잠시 불편을 겪는 정도에 그칠 수 있습니다. 하지만 병원 영상의학 시스템, 수백만 건의 거래를 처리하는 트레이딩 플랫폼, 항공 교통 관리 도구에서는 짧은 중단도 별도의 대비책이 필요한 문제가 될 수 있습니다.
기술 스택에 외부 서비스가 포함되면 시스템 안정성의 일부는 외부 제공업체에 의존하게 되며, 조직이 직접 통제할 수 있는 범위도 그만큼 줄어듭니다. AI가 비즈니스의 더 중요한 영역에 활용될수록, 팀은 각자의 요구 사항에 맞춰 대체 전략과 배포 유연성 같은 설계 요소를 추가로 반영하는 경우가 많습니다.
솔루션: 데이터가 있는 곳에서 AI 실행
반대로 데이터가 이미 존재하는 위치에서 AI를 실행하면 요구 사항에 맞는 환경을 선택할 수 있으며, 무엇보다 시스템 신뢰성에 대한 통제권을 유지할 수 있습니다.
Cloudera AI Inference Service를 사용하면 온프레미스, 프라이빗 클라우드 또는 하이브리드 환경 전반에 모델을 배포할 수 있습니다 이러한 유연성 덕분에 팀은 모든 것을 하나의 아키텍처에 억지로 맞추지 않고, 데이터와 워크로드, 리스크 특성에 맞게 추론 환경을 구성할 수 있습니다.
이는 실제로 다음과 같은 이점으로 이어집니다.
운영 연속성: 외부 환경에서 어떤 일이 발생하더라도 애플리케이션을 계속 실행할 수 있습니다.
예측 가능한 비용: 호출당 과금과 같은 변동형 요금 체계에서 벗어나 직접 통제하고 계획할 수 있는 컴퓨팅 리소스를 기반으로 비용을 관리할 수 있습니다.
실시간 성능: 영상의학 데모에서 확인할 수 있듯이 영상 분석이 1초 이내에 완료되어 임상의가 즉시 결과를 확인할 수 있습니다.
이러한 기반 위에서 팀은 기본적으로 모델 선택의 유연성도 확보할 수 있습니다. NVIDIA, Cohere, Mistral AI와 같은 제공업체의 모델을 포함한 선별된 AI 모델 레지스트리를 통해 각 활용 사례에 적합한 모델을 쉽게 선택할 수 있습니다. 또한 벤더 종속성이 없어 단일 벤더의 로드맵에 얽매이지 않고, 더 나은 선택지가 등장할 때마다 AI 모델을 유연하게 전환할 수 있습니다.
모든 요소는 처음부터 운영 환경을 염두에 두고 설계됩니다. 자동 확장은 갑작스러운 수요 증가에 대응하고, 고가용성은 단일 장애 지점을 제거하며, 1초 미만의 응답 시간을 위한 성능 최적화는 나중에 추가되는 것이 아니라 배포 단계부터 기본적으로 반영됩니다.
거버넌스는 전 과정에 내장되어 있습니다. AI Gateway는 요청이 모델에 도달하기 전에 액세스 제어와 정책을 적용하고 모니터링 계층은 지연 시간, 처리량, 리소스 사용량에 대한 지속적인 가시성을 제공합니다.
그 결과 모델 선택부터 운영 환경에서의 실행까지 전체 추론 파이프라인을 직접 통제하면서도, AI가 가장 효과적으로 작동하는 위치에서 실행할 수 있는 유연성을 갖춘 시스템을 구현할 수 있습니다.
규제 산업에서 데이터 통제권 유지가 특히 중요한 이유
의료, 금융 서비스, 국가 안보 분야에서 데이터 프라이버시는 법적 의무입니다. 모델 입력값, 출력값, 프롬프트가 추론을 위해 외부 벤더로 전송되는 순간, 이는 단순한 지연 시간의 문제가 아니라 규정 준수와 데이터 주권을 보장해야 하는 문제로 이어집니다.
추론 호출 중 실제로 어떤 데이터가 전송되는지 생각해 보겠습니다. 영상의학 분야에서는 의료 레코드와 연결된 환자 스캔 이미지일 수 있습니다. 금융 서비스 분야에서는 사기 탐지에 사용되는 거래 내역이 전송될 수 있습니다. 법률 또는 국방 분야에서는 그 자체로 민감한 문서일 수 있습니다. 이러한 호출은 모두 데이터 전송에 해당하며, 외부 API를 사용할 경우 데이터는 조직이 완전히 통제할 수 없는 영역으로 이동하게 됩니다.
추론을 온프레미스나 프라이빗 클라우드에서 실행하면 데이터는 지정된 위치에 그대로 유지되고, 조직이 자체 보유한 모델의 소유권도 온전히 보호되며, 감사 추적 기록 역시 내부에 남게 됩니다. 내장된 관측 가능성 기능은 외부 벤더를 거치지 않고 지연 시간과 리소스 사용량을 실시간으로 확인할 수 있게 해줍니다. 이는 규정 준수 보고뿐 아니라 운영 환경에서 모델이 실제로 어떻게 작동하는지 파악하는 데도 중요합니다.
‘클라우드 Vs 온프레미스’ 논쟁을 넘어 목적에 맞는 하이브리드 아키텍처 구축
AI는 새로운 장애 지점이 아니라 시스템의 신뢰성을 높이는 자산이 되어야 합니다. 의료 분야에서는 시스템 중단이 가져올 위험이 특히 직접적으로 와닿지만, 이 논리는 다운타임의 영향이 큰 모든 영역에 적용됩니다. 제조 라인, 실시간 금융 시스템, 물류 네트워크가 대표적입니다. 다운타임을 줄이고 AI의 이점을 활용하려면 조직은 가장 중요한 워크로드가 직접 통제할 수 있는 인프라에서 실행되도록 하이브리드 아키텍처를 전략적으로 설계해야 합니다.
실제 구현 방식이 궁금하십니까?
Cloudera AI Inference 전체 데모를 시청해 보세요.
