지난 2년 동안 엔터프라이즈 AI는 중요한 전환점을 지났습니다. 이제 논의의 초점은 AI가 효과가 있는지, 어떤 모델을 평가할지에 있지 않습니다. AI를 프로덕션 환경에 안정적으로 배포하고 대규모로 운영하며, AI가 내리는 모든 의사결정에 책임을 질 수 있는지가 핵심입니다. 오늘날 IT 및 비즈니스 리더들의 고민도 운영으로 옮겨갔습니다. AI 워크로드를 어디에 배치해야 하는지, AI의 실질적인 활용에 필요한 데이터와 어떻게 연결해야 하는지, 조직이 AI의 답변에 대한 통제권을 어떻게 유지할 수 있는지가 주요 과제입니다.
이러한 운영상의 변화 이면에는 더 근본적인 변화가 있습니다. 사기 탐지와 신용 위험 관리를 위해 도입한 초기 AI는 개별 사안을 예측하고 둘 중 하나의 결과를 제시하는 데 집중했습니다. 하지만 오늘날 금융 서비스 기업에 필요한 것은 여러 데이터 소스를 함께 살펴 추론하고, 판단 이유를 설명하며, 필요한 조치를 즉시 조율해 실행하는 시스템입니다. 점수를 산정하는 AI에서 추론하는 AI로 넘어가면서 조직의 핵심 워크플로우를 다루는 방식도 달라지고 있습니다.
이를 뒷받침할 기반도 달라져야 합니다. AI가 믿고 활용할 수 있는 데이터와 대규모 실시간 추론을 지원하는 전용 AI 인프라 또는 AI 팩토리가 필요하며, 민감한 데이터를 데이터 주권과 보안이 보장되는 환경 안에 유지할 수 있어야 합니다. NVIDIA 기술로 가속화되고 Dell Technologies 인프라에 배포되는 Cloudera AI는 기업이 이러한 변화에 대응할 수 있는 실질적인 기반을 제공합니다. 금융 서비스 분야는 이러한 가치를 입증하는 대표적인 사례이며, AI를 파일럿 단계에서 프로덕션으로 전환하는 모든 조직이 이러한 이점을 누릴 수 있습니다.
실험을 넘어 실제 운영으로
현재 Omdia에 속한 Enterprise Strategy Group의 조사에 따르면, 금융 서비스 조직의 78%는 AI 에이전트를 다른 AI 이니셔티브보다 최우선으로 추진하거나 높은 우선순위를 두어야 할 과제로 꼽았습니다. 금융 서비스만의 이야기가 아닙니다. 규제를 받는 여러 산업에서 AI는 실험적인 프로젝트를 넘어 이사회가 주목하는 우선 과제가 되었으며, 가장 중요한 비즈니스 프로세스에 활용되고 있습니다. 자금세탁방지, 신용 심사, 위험 관리, 사기 탐지가 주요 활용 사례로 꼽히지만 의료, 통신, 공공 부문, 제조업에서도 같은 변화를 확인할 수 있습니다.
하지만 Enterprise Strategy Group의 조사에서는 운영을 가로막는 문제도 확인됐습니다. 금융 서비스 조직의 51%는 AI 에이전트 사용 시 데이터 개인정보 보호와 민감한 정보 처리에 대해 우려를 보였습니다. 45%는 AI 에이전트가 부정확한 판단을 내릴 가능성을 걱정했습니다. 이러한 문제는 실험 단계에서 도입을 주저하게 하는 우려 사항이 아닙니다. 프로덕션 환경에서 가동되는 모든 AI 시스템이 충족해야 할 운영 요건입니다. 지금 선택하는 아키텍처는 앞으로 몇 년간 이 요건을 충족하는 데 도움이 될 수도, 걸림돌이 될 수도 있습니다.
새로운 아키텍처: 점수 산정에서 추론으로
기존 머신러닝은 대량의 데이터를 빠르게 평가하고 점수를 산정하는 작업에서 여전히 중요한 역할을 합니다. 정형 데이터로 학습한 모델은 50밀리초 이내에 거래를 평가하고 수많은 거래에서 이상 징후를 찾아냅니다. 하지만 머신러닝은 판단의 이유를 설명하는 데 한계가 있습니다. 조사 담당자는 점수를 보고 어떤 결과가 나왔는지는 알 수 있지만, 그 이유까지 알 수는 없습니다. 검토 담당자가 확신을 갖고 결정하는 데 필요한 맥락도 점수만으로는 얻기 어렵습니다.
생성형 AI는 이 간극을 메웁니다. 대규모 언어 모델은 수천 페이지의 문서를 처리해 관련 단서를 찾아내고, 복잡한 상황을 이해하기 쉬운 글로 요약할 수 있습니다. 사기 의심 사례에서는 특정 거래가 왜 의심 거래로 분류되었는지 맥락을 설명하는 조사 요약 보고서를 작성합니다. 신용 관련 의사결정에서는 정형 재무 데이터, 시장 정보, 비정형 분석 자료를 종합한 예비 검토 보고서의 초안을 작성합니다.
에이전트 기반 AI는 이러한 기능을 유기적으로 연결하고 조율해 워크플로우를 구성합니다. 분석가가 단절된 시스템을 오가며 직접 정보를 모으는 대신 에이전트가 관련 데이터를 자율적으로 검색하고 적절한 모델을 호출해 종합 평가 자료를 작성합니다. 담당자는 이를 검토하고 조치를 취합니다. 그 결과 의사결정은 빨라지고 판단 근거는 더욱 명확해지지만 여전히 사람이 최종 결정권을 갖습니다. NVIDIA는 이러한 아키텍처를 금융 서비스용 AI 팩토리라고 부릅니다. 전체 기술 스택을 갖춰 실제 운영에 바로 투입할 수 있는 시스템입니다. 거버넌스가 적용된 AI 에이전트가 대량의 작업을 처리하며 사기 탐지와 신용 심사부터 위험 모델링, 고객 인텔리전스까지 핵심 금융 워크플로우 전반에서 작동합니다. 이를 통해 기존 데이터 센터는 인텔리전스를 대규모로 생산하는 환경으로 탈바꿈합니다.
AI의 최적 위치는 데이터가 있는 곳
엔터프라이즈 AI 운영에서 가장 중요한 질문은 의외로 간단합니다. AI를 어디서 실행해야 할까요? 답은 갈수록 명확해지고 있습니다. 온프레미스든 클라우드든 하이브리드 환경이든, AI는 데이터가 있는 곳에서 실행될 때 가장 큰 비즈니스 가치를 제공합니다. 금융기관의 경우, 이는 단순한 아키텍처 선호의 문제가 아닙니다. 규제 요건을 충족하고 경쟁력을 확보하기 위한 필수 조건입니다. 은행과 결제 서비스 제공업체는 자체 독점 거래 데이터로 해당 분야에 특화된 맞춤형 모델을 학습시켜 경쟁사가 복제할 수 없는 지능형 자산을 구축합니다. Cloudera는 이러한 데이터가 어디에 있든 해당 위치에 AI를 배포할 수 있도록 지원합니다.
AI가 엔터프라이즈 데이터와 같은 환경에서 실행되면 맥락의 질이 달라집니다. 맥락이 없는 위험 점수는 숫자에 불과합니다. 하지만 최근 거래, 고객 이력, 기기에서 수집된 신호, 계좌 이용 패턴을 모두 참고할 수 있다면, 위험 점수는 담당자가 상황을 충분히 이해하고 확신을 갖고 조치할 수 있는 권고가 됩니다. 이러한 깊이 있는 맥락, 즉 금융기관이 이미 보유한 멀티모달 데이터 세트에서 예측에 유용한 신호를 추출하는 역량은 자체 AI 인텔리전스를 쌓아 가는 금융기관과 범용 모델에 의존하는 금융기관의 차이를 만듭니다.
NVIDIA로 가속화하고 Dell Technologies 인프라에서 운영하는 금융 서비스용 Cloudera AI
Cloudera는 신뢰할 수 있는 데이터 기반을 제공합니다. Cloudera *의 하이브리드 데이터 및 AI 플랫폼은 개방형 레이크하우스 아키텍처에서 정형 데이터와 비정형 데이터를 통합합니다. Cloudera의 실시간 이동 데이터(Data in Motion) 솔루션은 실시간 스트리밍 데이터를 수집해 과거 데이터와 함께 활용할 수 있도록 하며, Shared Data Experience(SDX) *는 온프레미스, 프라이빗 클라우드, 퍼블릭 클라우드 환경 전반에 일관된 거버넌스와 보안을 제공합니다. 이 플랫폼은 민감한 데이터를 해당 관할권 안에 유지하면서도 이를 필요로 하는 AI 시스템이 활용할 수 있도록 설계되었습니다.
NVIDIA는 풀스택 AI 팩토리 플랫폼을 통해 AI 파이프라인의 속도를 높입니다. NVIDIA Blackwell GPU *는 기존 머신러닝의 학습 시간을 단축하고 신경망과 언어 모델의 대규모 추론을 지원합니다. 위험 모델링에서는 NVIDIA 가속 기술을 통해 밤새 걸리던 시뮬레이션 기반 분석을 거의 실시간으로 수행할 수 있습니다. NVIDIA 기술을 기반으로 하는 Cloudera AI Inference를 통해 조직은 온프레미스에 모델을 배포하고 규모를 확장할 수 있습니다. NVIDIA AI 스택에는 NVIDIA Nemotron, NVIDIA Dynamo-Triton Inference Server, NVIDIA AI Enterprise가 포함됩니다. Nemotron은 분야별 요구에 맞게 조정할 수 있는 NVIDIA의 개방형 모델 제품군으로, 금융기관은 자체 독점 데이터를 활용해 모델을 미세 조정할 수 있습니다. AI 팩토리의 운영체제인 NVIDIA AI Enterprise는 저지연 추론에 최적화된 NIM 마이크로서비스와 맞춤형 모델 구축 및 미세 조정을 위한 NeMo를 제공합니다. 금융 사기 탐지용 NVIDIA AI Blueprint *는 그래프 신경망과 자체 거래 파운데이션 모델 구축(Build Your Own Transaction Foundation Model) 개발자 예제를 기반으로 합니다. NVIDIA가 제공하는 이러한 블루프린트를 활용하면 조직은 금융 데이터 기반 AI 애플리케이션을 어디서부터 어떻게 구축할지 구체적인 방향을 잡을 수 있습니다.
Dell Technologies는 솔루션 전체를 연결하는 엔터프라이즈 인프라를 제공합니다. NVIDIA Blackwell GPU를 탑재한 Dell PowerEdge 서버는 고부하 AI 워크로드에 필요한 컴퓨팅 성능을 한정된 공간에 집약해 제공합니다. 동시에 컴퓨팅 리소스를 처리 대상인 민감한 데이터와 같은 물리적 환경에 두어 데이터가 있는 곳에서 처리할 수 있도록 합니다. 이 통합 솔루션은 같은 수준의 추론을 제공하는 퍼블릭 클라우드보다 총소유비용(TCO)을 크게 낮출 수 있습니다. 사용량이 늘어도 비용 부담이 과도하게 커지지 않으며, 규모 확장에 따른 비용도 예측할 수 있습니다.
두 가지 실제 활용 사례: 사기 탐지와 신용 위험
이러한 아키텍처의 가치는 금융 서비스 분야에서 구체적으로 확인할 수 있습니다. Cloudera는 실시간 사기 탐지를 위해 거래 데이터뿐 아니라 고객과의 상호작용 이력, 기기 메타데이터, 행동 신호까지 함께 수집합니다. 수십억 건의 금융 이벤트로 학습한 트랜스포머 기반 AI, 즉 거래 파운데이션 모델은 거래가 발생한 맥락을 바탕으로 행동을 해석합니다. 언제, 어떤 기기로, 어디서 거래했는지, 그전에 어떤 활동이 있었는지에 따라 같은 행동의 의미도 달라집니다. 예를 들어 자정에 이루어진 결제라도, 낯선 기기를 사용해 고객이 이전에 한 번도 거래한 적 없는 도시에서 불과 10분 사이에 네 번째로 이뤄진 결제라면 의미가 달라집니다. Nemotron이나 오픈 소스 파운데이션 모델 등 NVIDIA로 가속화된 머신러닝 모델은 즉시 결제 네트워크가 요구하는 지연 시간 범위 안에서 각 거래의 점수를 산정합니다. 의심 거래가 탐지되면 Cloudera AI의 에이전트 기반 워크플로우가 관련 맥락을 검색하고, 언어 모델이 위험 요인을 자연어로 설명한 조사 자료를 생성합니다. 조사 담당자는 더 이상 점수와 추가 업무만 전달받지 않습니다. 사전 조사 요약 보고서를 활용해 더 합리적인 근거를 바탕으로 더 빠르게 판단할 수 있습니다.
신용 위험 평가에서도 같은 변화가 나타납니다. 신용정보회사의 신용점수와 정형화된 상환 이력만으로 파악할 수 있는 정보에는 한계가 있었습니다. 재무제표, 시장 분석, 뉴스 보도와 같은 비정형 정보는 신용 판단을 보완할 수 있지만, 이를 대규모로 반영하려면 너무 많은 수작업이 필요했습니다. 통합 플랫폼은 이러한 데이터 소스를 거버넌스가 적용된 레이크하우스에 모으고, NVIDIA로 가속화된 몬테카를로 시뮬레이션과 위험 모델링에 활용합니다. NVIDIA의 풀스택 플랫폼은 기존 인프라보다 훨씬 적은 비용으로 이러한 워크로드를 실행하며, 과거에는 판단을 늦추는 요인이었던 복잡한 시뮬레이션도 가속화합니다. 이를 바탕으로 예비 신용 검토 보고서까지 생성하므로, 대출 담당자는 보고서를 처음부터 작성하는 대신 이를 검토하고 보완하는 데 집중할 수 있습니다.
보험금 지급 심사, 의료의 임상 의사결정 지원, 제조업의 공급망 위험 관리, 공공 부문의 정보 분석 업무에도 같은 원리를 적용할 수 있습니다. 산업마다 활용 사례는 다르지만 이를 뒷받침하는 아키텍처는 동일합니다.
인사이트를 실제 성과로 연결
이러한 접근 방식을 도입하는 조직은 공통적으로 다음과 같은 성과를 얻습니다.
의사결정 속도 향상: 실시간 점수 산정을 위한 추론을 50밀리초 이내에 수행하고 분석 워크로드의 처리 주기를 대폭 단축하여, 핵심 워크플로우의 의사결정을 앞당깁니다.
더욱 명확한 판단 근거: 데이터 계보와 맥락, 비즈니스 메타데이터로 판단 근거를 뒷받침하여 내부 검토와 규제기관의 엄격한 심사에 대응합니다.
총소유비용 절감: 퍼블릭 클라우드 추론보다 총소유비용을 낮추고, 사용 규모가 커져도 예측 가능한 비용 구조를 유지합니다.
위험 감소: 데이터 주권, 규정 준수, 거버넌스 요건에 맞게 아키텍처를 설계하여 위험을 줄입니다.
이러한 이점이 서로 더해지면서 효과도 커집니다. 현재 AI 운영을 뒷받침하는 아키텍처는 차세대 에이전트, 새로운 활용 사례 및 다음 단계의 자동화를 위한 기반이 됩니다. 기존 데이터와 거버넌스 계층을 다시 구축할 필요 없이 그 위에서 확장해 나갈 수 있습니다.
금융 서비스 분야의 AI 운영 로드맵
엔터프라이즈 AI의 다음 단계에서는 모델의 성능보다 체계적인 운영이 더욱 중요해질 것입니다. 성공하는 금융기관은 데이터 중심에서 인텔리전스 중심으로 전환하는 기관일 것입니다. 자체 데이터로 독자적인 AI를 구축하고, 보안과 데이터 주권이 보장되는 환경에 배포하며, 규제기관과 위험관리위원회가 요구하는 수준으로 감사가 가능하도록 관리하는 기관입니다. NVIDIA 기술로 가속화되고 Dell Technologies 인프라에 배포되는 Cloudera AI는 기업이 이러한 목표를 실현할 수 있는 구체적인 방법을 제시합니다. 이제는 AI로 무엇을 할 수 있는지보다 핵심 시스템에서 AI가 매일 실제로 무엇을 하고 있는지가 논의의 중심이 됩니다.
Omdia 쇼케이스 브리프 ‘Dell Technologies 인프라에서 NVIDIA로 가속화한 Cloudera AI를 활용한 사기 탐지 및 신용 위험 평가(Fraud Detection and Credit Risk Assessment with Cloudera AI, Accelerated by NVIDIA on Dell Technologies)’ 및 BrightTALK 온디맨드 웨비나를 다운로드하고 자세한 내용을 확인해 보세요.
