AI 도입이 새로운 국면에 접어들면서 아이디어나 파일럿 모델 수준에 머물러서는 더 이상 의미 있는 성과를 기대하기 어려워졌습니다. 이제 운영 책임자와 이사회는 AI가 실제 운영 환경에서 전면적으로 활용되고, 그에 따른 성과가 수치로 입증되기를 요구하고 있습니다. 하지만 이를 실제 운영 환경에서 구현하는 일은 생각보다 어렵습니다. 특히 금융 서비스 분야에서는 더욱 그렇습니다. 현재 공개된 조사에 따르면, 기존 인프라가 실시간 데이터 요구를 따라가지 못해 전체 기업 AI 프로젝트의 88%가 실제 운영 단계에 이르기 전에 중단 *되는 것으로 나타났습니다.
금융 서비스 산업에서는 '데이터를 보유'하고 있어도 '실제 가치 창출'로 이어지지 못하는 경우가 많으며, 그 핵심 원인은 대부분 지연 시간에 있습니다. 많은 금융 기관이 지난 10여 년간 정적 데이터 중심의 ‘레이크하우스’ 모델을 정교하게 구축해 왔지만, 경쟁력 있는 AI 활용 사례를 구현하기 위해서는 실시간 이동 데이터, 즉 데이터가 이동하는 즉시 활용하는 방식으로의 근본적인 전환이 필요합니다.
최근 IBM과 Cloudera 전문가들이 참여한 라운드테이블에서는 리더들이 직면한 핵심 과제, 즉 이러한 전환의 필요성을 정확히 이해하고 적합한 아키텍처 파트너를 선택하는 문제가 논의되었습니다. 이번 논의는 실시간 아키텍처가 금융 AI의 '끊어진 연결 고리'를 어떻게 다시 이어줄 수 있는지에 초점을 맞췄습니다.
금융 서비스에서 실시간 AI가 필요한 이유
실시간 데이터의 필요성은 단순한 기술적 속도의 문제를 넘어섭니다. 핵심은 운영 과정에서 새어나가는 막대한 가치를 바로잡는 데 있습니다. 금융 기관은 그동안 데이터가 즉시 활용되지 못하고 야간 배치 처리를 기다리며 멈춰 있는 이른바 ‘공백 시간’을 감수해 왔습니다. 그러나 최근에는 이러한 지연이 경쟁력을 떨어뜨리는 주된 요인으로 작용하고 있습니다.
즉각적인 ROI에 집중: 백오피스와 미들오피스
기술 리서치 및 자문 기업인 Omdia는 최근 솔루션 브리프를 통해 금융 서비스 분야에서의 실시간 AI 활용 사례를 다음과 같이 제시했습니다.
실시간 사기 방지 및 보안
고객 경험 개선 및 충성도
데이터 수집, 변환 및 흐름 관리
플랫폼 현대화 및 보고
고객 경험이나 충성도 향상처럼 고객 접점에서 활용되는 생성형 AI는 분명 매력적인 분야입니다. 그러나 많은 금융 서비스 기업에서 가장 즉각적인 투자 수익은 백오피스와 미들오피스에서 나타나고 있습니다. 이처럼 ‘눈에 잘 띄지 않는’ 활용 사례들은 실제로 상당한 수준의 효율성 개선으로 이어지고 있습니다.
무인화된 운영: 내부 재무 예측에 실시간 AI를 적용하면서 전체 프로세스의 94~95%가 사람의 개입 없이 처리되고 있습니다.
대규모 효율성 개선: 복잡한 보고를 위한 데이터 집계를 자동화해 운영 비용을 30~40%까지 절감하고 있습니다.
영향의 규모: 대형 은행의 경우, 이러한 최적화는 수억 달러 규모의 생산성 회복으로 이어지고 있습니다.
Cloudera와 IBM이 만들어내는 시너지: 하이브리드 효율성과 데이터 주권
클라우드 운영 비용이 증가하고 규제도 한층 강화되면서, 플랫폼 선택이 금융 서비스 기업의 전략을 좌우하는 핵심 기준으로 떠오르고 있습니다. Cloudera는 IBM과 마찬가지로 데이터 이동보다 보안과 거버넌스가 적용된 액세스를 우선시하는 데이터 주권 접근 방식을 취하고 있습니다. 양사는 데이터를 이동하지 않고도 해당 위치에서 바로 활용할 수 있는 ‘데이터 이동 없는 페더레이션(federation-in-place)’ 모델을 제공합니다. 이를 통해 금융 기관은 코어 뱅킹 시스템, 트레이딩 플랫폼, 클라우드 환경, 엣지 채널 등 데이터가 존재하는 모든 위치에서 데이터를 액세스하고 분석할 수 있습니다. 이러한 접근 방식은 실시간 인사이트 확보를 지원하는 동시에, 금융 기관이 규정 준수 요구 사항을 충족하고, 운영 리스크를 줄이며, 컴퓨팅 비용을 안정화하고, 민감한 금융 데이터를 엄격하게 통제할 수 있도록 지원합니다.
비용 통제를 위한 하이브리드 유연성
금융 서비스에서 실시간 AI를 구현하려면 결제 처리, 리스크 모델링, 트레이딩 운영과 같은 업무를 지원하기 위해 '상시 가동'되는 컴퓨팅이 필요합니다. 클라우드 환경은 실험 측면에서 높은 민첩성을 제공하지만, 거래 처리나 규제 보고처럼 안정적이고 높은 처리량이 요구되는 워크로드의 경우 총소유비용(TCO)은 온프레미스 환경이 훨씬 낮을 수 있습니다. Cloudera의 하이브리드 플랫폼은 데이터와 애플리케이션의 이식성을 지원합니다. 이를 통해 금융 기관은 지연에 민감하거나 비용 부담이 큰 워크로드를 재무 및 운영 측면에서 가장 적합한 환경에서 실행할 수 있습니다.
거버넌스로 ‘끊어진 연결 고리’ 복원
금융 서비스에서 AI 도입을 가로막는 주요 장애물 중 하나는 데이터 과학자와 리스크 관리 팀이 실시간 이동 데이터를 발견하고, 신뢰하고, 관리하는 데 겪는 어려움입니다. Cloudera는 스트리밍 데이터에도 일관된 거버넌스, 계보, 카탈로그, 보안 통제를 적용함으로써 이 문제를 해결합니다. 그 결과, 의사결정에 활용되는 실시간 데이터도 저장된 데이터만큼 감사 가능하고 신뢰할 수 있는 수준으로 관리됩니다. 이는 규정 준수를 충족하고 설명 가능한 AI를 구현하는 데 있어 매우 중요한 요소입니다.
AI 및 모델 주권
금융 기관들은 이제 단순한 데이터 레지던시를 넘어 AI와 모델 주권까지 포괄하는 방향으로 확장되고 있습니다. Cloudera와 IBM을 활용하면 데이터뿐 아니라 모델도 요구되는 지역적 및 규제적 범위 내에서 관리할 수 있으며, 이를 바탕으로 변화하는 데이터 보호 및 금융 규제에 대한 규정 준수를 지원할 수 있습니다. 이러한 접근 방식은 민감한 데이터가 특정 국가를 벗어나지 않도록 하면서도 성능을 유지할 수 있게 합니다. 또한 IBM Granite 모델은 감사 가능한 엔터프라이즈급 데이터 출처를 제공해, 불투명하거나 검증되지 않은 학습 데이터로 인한 리스크를 줄여줍니다.
앞으로의 과제: 엣지 AI와 이벤트 기반 아키텍처
사기 방지, 신용 심사, 거래 검증과 같은 실시간 의사결정을 구현하려면, 금융 기관은 기존의 배치 처리 방식을 넘어 Apache NiFi와 Apache Flink와 같은 기술을 기반으로 한 이벤트 기반 아키텍처로 전환해야 합니다.
엣지 AI: 의사결정 단계를 상호작용이 발생하는 지점, 즉 판매 시점(Point of Sale), ATM, 모바일 앱과 같은 ‘엣지’로 이동시키면 실시간 사기 탐지와 거래 검증이 가능해집니다. 이를 통해 금융 기관은 거래가 완료된 이후가 아니라 진행 단계에서 사기 행위를 사전에 차단할 수 있습니다.
소규모 언어 모델(SLM): 모든 금융 서비스 활용 사례에 대규모 모델이 필요한 것은 아닙니다. 파라미터 수가 100억 개 미만인 경량 모델은 엣지나 통제된 환경에 배포되어 고객 인증, 문서 처리, 규정 준수 점검과 같은 업무를 지원할 수 있습니다. 이 방식은 지연 시간을 줄이고, 개인정보 보호를 강화하며, 인프라 비용을 절감하는 데 도움이 됩니다.
실시간 데이터로 미래를 대비하는 AI 기업
대규모 데이터 레이크를 구축해 두기만 하면 가치가 저절로 창출될 것이라고 보는 ‘구축 중심 접근’은 이제 더 이상 유효하지 않습니다. 금융 서비스에서는 검증된 성과로 가치가 평가됩니다.
이제는 실시간 데이터로의 전환에 나서야 할 때입니다. 실시간 데이터는 더 이상 있으면 좋은 선택지가 아니라, 은행, 결제, 보험, 자본시장 운영을 지탱하는 필수 기반이 되었습니다. 이는 정적인 보고 체계를 지속적이고 이벤트 기반의 의사결정 체계로 전환시키고, 실시간으로 변화에 맞게 조정하는 동적인 워크플로를 가능하게 합니다. 금융 기관은 Cloudera의 하이브리드 플랫폼과 실시간 이동 데이터 솔루션, IBM watsonX for AI를 함께 활용하고 이를 명확한 비즈니스 성과와 연결함으로써 이 산업에서 요구되는 통제력, 거버넌스, 회복탄력성을 유지하면서도 실시간 데이터를 지속적인 경쟁 우위로 전환할 수 있습니다.
