처음부터 복잡하고 혼란스러운 IT 환경을 만들려고 하는 기업은 없습니다. 대개 인수합병을 거치고, 각 팀이 필요에 따라 개별 도구를 도입하며, 서로 연계되지 않은 채 일부만 클라우드로 이전하는 과정에서 의도치 않게 복잡성이 증가합니다. 그 결과 계획에 따라 설계한 것이 아니라 수년간 당면한 문제에 대응하며 내린 선택들이 누적된 ‘우연히 만들어진 하이브리드’ 아키텍처가 형성됩니다. 더 큰 문제는 이를 바로잡기 위한 구체적인 계획도 없는 경우가 많다는 점입니다.
엔터프라이즈 AI가 실험 단계를 넘어 실제 운영으로 전환되면서 이러한 하이브리드 환경은 단순한 기술적 불편을 넘어 전략적 부담이 되고 있습니다. 데이터 주권을 유지하고 AI 비용이 급증하는 것을 막으려면 처음부터 목적에 맞게 설계한 하이브리드 아키텍처를 도입해야 합니다. 이러한 전환을 체계적으로 추진하는 조직은 데이터 자산의 가치를 온전히 실현할 수 있습니다. 반면 그러지 못한 조직에서는 시간이 흐르고 새로운 AI 이니셔티브가 추가될수록 아키텍처 부채가 더욱 커지게 됩니다.
최근 Cloudera 웨비나 ‘전략적으로 설계하는 하이브리드 시대의 시작(Welcome to the Era of Hybrid by Design)’에서 Forrester의 VP 수석 분석가 Noel Yuhanna가 초청 연사로 참여해 나눈 대담에서도 이 주제를 다뤘습니다.
이 글에서는 당시 논의를 한층 더 발전시켜 통합 거버넌스와 개방형 표준을 활용하고 AI 수명 주기의 요구 사항을 명확히 파악함으로써 조직이 목적에 맞는 하이브리드 아키텍처를 구축하는 방법을 살펴봅니다.
기업이 복잡한 하이브리드 환경에 이르게 되는 과정
인수합병, 부서별로 분리된 도구 도입, 각 사업 부문의 특정 벤더 종속 외에도 지난 수십 년간 빠르게 추진된 클라우드 전환은 이러한 문제를 키운 주요 원인입니다. 많은 조직이 짧은 기간에 광범위한 워크로드를 클라우드로 이전했지만 이제는 그 흐름이 다시 바뀌고 있습니다. 클라우드 워크로드를 온프레미스로 되돌리는 리패트리에이션이 실제로 확대되며 주요 논의 대상으로 떠오르고 있습니다.
이러한 변화는 수치를 통해서도 분명하게 확인할 수 있습니다. CIO가 온프레미스로 워크로드를 다시 이전할 계획이라고 답한 비율은 2020년 43%에서 2024년 83%로 증가했습니다. 이는 클라우드 자체를 부정하는 움직임이 아닙니다. 모든 워크로드가 클라우드에 적합한 것은 아니라는 사실을 조직이 보다 성숙한 관점에서 인식하기 시작했다는 의미입니다. 실제로 Yuhanna에 따르면 오늘날에도 은행과 의료 분야의 트랜잭션 처리 업무 중 약 80%가 온프레미스에서 실행되고 있습니다. 과거의 ‘클라우드는 저렴하다’는 인식은 이제 아키텍처를 어떻게 최적화할 것인지, 과도하게 할당된 리소스를 어떻게 줄일 것인지, 클라우드 외부로 데이터를 전송할 때 발생하는 비용이 투자 가치를 얼마나 낮추는지와 같은 현실적인 질문으로 바뀌고 있습니다.
변화 뒤에 놓인 규제 압력
과거에는 변화 속도가 느렸던 IT 문제가 이제 규제 강화로 인해 즉각적인 대응이 필요한 과제가 되고 있습니다. GDPR, EU 데이터법, HIPAA와 같은 규정은 엄격한 데이터 주권을 요구합니다. 한편 미국 당국이 전 세계 데이터에 액세스할 수 있도록 허용하는 미국 클라우드 법(CLOUD Act)은 EU와 아시아 태평양 지역의 개인정보 보호 규정과 충돌하고 있으며, 이에 따라 기업들은 미국 외 지역의 주권 기반 클라우드 제공업체로 눈을 돌리고 있습니다. 금융 부문에서는 단일 클라우드에 대한 지나친 의존이 시스템 전반의 리스크로 인식되면서 DORA가 벤더 전환 및 철수 전략 마련을 의무화하고 있습니다.
새로운 AI 규제가 엄격한 추적 가능성을 요구하면서 이러한 압박은 2026년 이후 더욱 커질 전망입니다. 데이터 거버넌스와 AI 거버넌스가 하나의 거대한 규정 준수 과제로 합쳐지고 있으며, 적절한 아키텍처를 갖추지 못한 기업은 기존 시스템을 많은 비용과 노력을 들여 전면적으로 개편해야 할 수 있습니다.
AI 기술의 발전과 문제의 시급성
엔터프라이즈 AI는 고질적인 인프라 문제를 더 이상 미룰 수 없는 시급한 과제로 만듭니다. AI 수명 주기에서는 각 단계마다 필요한 인프라가 다릅니다. 학습과 컨텍스트 보강 단계에서는 짧은 시간에 대규모 컴퓨팅 리소스가 필요하므로 클라우드가 더 적합할 수 있습니다. 반면 지속적으로 이루어지는 추론은 온프레미스에서 운영하는 편이 비용 효율적인 경우가 많습니다. ‘전략적으로 설계한 하이브리드’란 모든 워크로드를 하나의 환경에 일률적으로 배치하고 그에 따른 비용과 제약을 감수하는 것이 아니라, 각 단계를 실제 요구 사항에 가장 적합한 인프라에 배치하는 것을 의미합니다.
데이터 중력은 이 문제를 더욱 복잡하게 만듭니다. AI는 여러 환경에 분산된 방대한 데이터를 필요로 하며, 이를 환경 간에 이동하면 실제로 지연 시간과 데이터 전송 비용이 발생합니다. 결국 조직은 두 가지 불리한 선택지 사이에 놓이게 됩니다. 모델이 사용할 수 있는 데이터를 제한해 품질을 낮추거나, 막대한 비용을 들여 데이터를 한곳에 모아 AI 도입의 경제성을 떨어뜨려야 합니다.
에이전트 기반 AI는 이러한 문제를 한층 더 심화합니다. 이러한 시스템이 실제로 조치를 수행하려면 신뢰할 수 있는 실시간 데이터가 필요하므로, 배치 처리로 인해 데이터 반영이 늦어지는 파이프라인으로는 더 이상 대응하기 어렵습니다. Yuhanna에 따르면 현재 에이전트 기반 AI 도입률은 약 24%이며, 2026년 말에는 두 배로 증가할 것으로 예상됩니다. 이러한 현실에 대비해 지금부터 선제적인 아키텍처를 구축하는 조직은 앞으로 더 큰 가치를 창출하게 될 것입니다.
개방형 표준이 필요한 이유
벤더 종속은 단순한 이론적 리스크가 아닙니다. 인프라와 소프트웨어 계층 모두에서 실제 비용을 발생시키는 문제입니다. 자체 데이터 도구가 특정 클라우드에서만 실행된다면 기업은 갈수록 심화되는 ‘이중 종속’에 빠지게 됩니다. 이렇게 되면 협상력은 전적으로 벤더로 넘어가고, 워크로드를 다른 환경으로 옮겨야 하는 순간 심각한 병목이 발생합니다. 완성된 클라우드 파일럿을 데이터 센터의 유휴 용량에서 실행하려는 경우든, 규정 준수를 위해 새로운 데이터 주권 기반 클라우드로 이전하려는 경우든 마찬가지입니다. 조직이 이러한 주도권을 되찾으려면 워크로드 이동성과 개방형 표준이 필요합니다.
이를 가능하게 하는 핵심 표준은 두 가지입니다.
Kubernetes *는 기반 인프라를 추상화하는 공통 계층 역할을 합니다. 하드웨어나 클라우드 제공업체와 관계없이 일관된 클라우드 네이티브 운영 방식을 제공하므로, 워크로드가 서로 다른 인프라 환경으로 이동할 때마다 발생하는 "플랫폼 재설계 부담"을 줄일 수 있습니다.
Apache Iceberg *는 데이터 계층에서 같은 역할을 합니다. 단순히 데이터가 저장된 위치를 추상화하는 데 그치지 않고, 데이터에 액세스할 수 있는 범위를 넓혀줍니다. 개방형 테이블 형식과 Iceberg REST Catalog를 사용하면 조직은 데이터를 기존 위치에 그대로 둔 채 타사 시스템과 공유할 수 있습니다. 즉, 거버넌스가 적용된 데이터를 이동하지 않고도 외부 분석 플랫폼이 직접 쿼리할 수 있습니다. 데이터를 특정 벤더의 컴퓨팅 엔진에서 완전히 분리하면, 조직은 앞으로도 AI를 어디서 어떻게 실행할지 자유롭게 선택할 수 있는 실질적인 유연성을 확보할 수 있습니다.
실제 운영 환경에서 이러한 확장성이 어느 정도인지 살펴보겠습니다. Yuhanna는 최근 서로 다른 1,000개의 소스 시스템에 있는 50,000개의 데이터베이스를 연결하는 고객 사례를 접했습니다. 이 정도 규모에서는 복잡성이 단순히 비례적으로 늘어나는 것이 아니라 기하급수적으로 커집니다. 개방형 표준은 있으면 좋은 선택 사항이 아닙니다. 기업이 자체 환경에 대한 통제권을 유지하기 위한 필수 조건입니다.
거버넌스 공백이 초래하는 비용
인프라가 분산되면 거버넌스 역시 분산되기 마련입니다. Yuhanna가 지적했듯이 엔터프라이즈 데이터의 약 70%는 적절한 메타데이터와 카탈로그 체계를 갖추지 못하고 있습니다. 그 결과 실제 분석에 활용되는 데이터는 25%에 불과하며, 대부분의 엔터프라이즈 데이터는 전혀 사용되지 않은 채 방치되고 있습니다. 2006년 영국의 수학자이자 데이터 과학 선구자인 Clive Humby *는 “데이터는 새로운 석유”라는 유명한 말을 했습니다. 원유를 정제해야 가치를 얻을 수 있듯이 원시 데이터도 AI와 분석을 통해 가공해야 실질적인 가치를 창출할 수 있다는 의미입니다. 모든 데이터에 잠재적인 인사이트가 담겨 있다면, 전체 데이터를 활용하지 못하게 만드는 아키텍처를 그대로 유지할 이유는 없습니다.
보안 측면의 영향도 분명합니다. IBM의 2025년 데이터 침해 보고서(Data Breach Report)에 따르면 여러 환경에 걸쳐 발생한 데이터 침해의 평균 비용은 500만 달러를 넘습니다. 이는 전 세계 평균인 444만 달러보다 훨씬 높은 수준이며, 이러한 침해는 전체 사고의 약 30%를 차지합니다. 이유는 간단합니다. 데이터 침해는 주로 시스템 간 연동 지점에서 발생하며, 환경이 나뉘는 모든 경계가 곧 새로운 연동 지점이 되기 때문입니다.
해결책은 통합 정책 계층입니다. 데이터 분류, 액세스 제어, 데이터 계보, 감사, 규정 준수를 아우르는 단일 페더레이션 컨트롤 플레인이 필요합니다. 이러한 구조에서는 정책이 데이터를 따라 적용되므로 전체 생태계에서 일관된 기준을 실시간으로 유지할 수 있습니다.
출발점
AI를 실제 운영 환경에 적용하면서 생기는 현실적인 요구, 강화되는 데이터 주권 요건, 인프라 비용에 대한 높아진 관심을 고려하면 조직은 우연히 형성된 하이브리드 환경에서 벗어나 목적에 맞게 설계한 하이브리드 아키텍처로 전환해야 합니다. 다음과 같은 방법으로 시작할 수 있습니다.
명확한 목표 설정: 기술을 도입하기 전에 매출 성장, 비용 최적화, 회복탄력성 목표 등 구체적인 비즈니스 성과를 중심으로 18개월 로드맵을 수립해야 합니다.
데이터 중력 감사 실시: 데이터가 실제로 어디에 있는지, 누가 액세스하는지, 지연 시간과 데이터 반출 비용에 얼마나 노출되어 있는지를 파악해야 합니다. 이 과정을 거치면 더 이상 제대로 관리되지 않는 워크로드, 중복 데이터, 규정 준수 사각지대를 효과적으로 찾아낼 수 있습니다.
체계적인 정비: 기능이 겹치는 도구를 줄이고, 벤더 관계를 통합하며, 거버넌스 기준을 표준화하고, 워크로드를 자유롭게 이동할 수 있는 구조를 마련해야 합니다.
자세한 내용은 Noel Yuhanna와 나눈 대담을 다시 시청 *하고, 업계 동향 보고서 ‘혼란에서 통제로: 엔터프라이즈 데이터 전략의 미래가 전략적으로 설계한 하이브리드인 이유’를 통해 확인하시기 바랍니다.
