지난 2년 동안 엔터프라이즈 AI에 관한 논의는 대부분 모델에서 시작되었습니다. 기업들은 어떤 파운데이션 모델을 사용할지, 어떻게 미세 조정할지, 어떤 오케스트레이션 프레임워크가 가장 좋은 결과를 낼지를 두고 고민해 왔습니다.
하지만 이제 논의의 초점이 달라지고 있습니다. 파운데이션 모델의 성능이 향상되고 접근성이 높아지면서 공급업체 간 대체도 쉬워지자, 많은 기업이 모델 성능이 더 이상 AI 성과를 좌우하는 가장 큰 제약이 아니라는 사실을 깨닫고 있습니다. 병목 지점은 오히려 파이프라인의 앞단, 즉 AI 시스템에 데이터를 공급하는 문서 처리 계층으로 이동했습니다.
금융 서비스, 의료, 통신 분야의 CIO와 CDO를 만나 이야기하다 보면 같은 의견을 반복해서 듣게 됩니다. 이제 문제는 모델이 어떻게 추론하느냐가 아니라, 무엇을 근거로 추론하느냐입니다.
엔터프라이즈 AI 추론의 병목은 더 이상 모델이 아닙니다. 문서를 이해하고 처리하는 계층이 병목입니다. 이는 엔터프라이즈 AI 기술 스택에서 가치와 리스크가 집중되는 지점이 구조적으로 달라지고 있음을 보여줍니다.
핵심 문제: 비정형 데이터와 문서 인텔리전스
규제가 엄격한 기업 환경에서 핵심 데이터의 대부분은 체계적으로 정리된 데이터 웨어하우스 테이블에 저장되어 있지 않습니다. PDF, 스캔된 공시 문서, 보험금 청구 내역표, 계약서, 재무제표, 검사 보고서, 요율표와 같은 비정형 형식으로 존재합니다. 바로 이러한 데이터가 AI 시스템에 입력됩니다.
문서 인텔리전스란 이러한 비정형 데이터를 AI 모델이 활용할 수 있는 구조화된 입력 데이터로 변환하는 과정을 말합니다. 이 단계에서 문제가 발생하면 그 영향은 AI 파이프라인 전체로 확산됩니다.
문제가 발생하는 과정은 의외로 단순합니다. 표를 잘못 읽거나 병합된 셀을 잘못 처리하면 데이터가 비정상적인 형태로 추출됩니다. 잘못 추출된 데이터는 부정확한 임베딩을 생성하고, 그 결과 검색 단계에서 관련성이 떨어지는 컨텍스트가 반환됩니다. 그러면 모델은 잘못된 입력을 사실로 받아들이고, 그에 근거해 단정적인 오답을 내놓습니다.
이 단계에 이르면 아무리 성능이 뛰어난 모델이라도 근본적인 오류를 바로잡을 수 없습니다. 모델을 실행하기도 전에 발생한 구조적 문제는 모델 성능을 개선해도 해결되지 않기 때문입니다. 실제로 AI 시스템이 달성할 수 있는 정확도의 상한은 문서 처리 파이프라인의 품질에 따라 결정되는 경우가 많습니다.
문서 파싱 오류가 비즈니스 리스크로 이어질 때
문서 파싱이 제대로 이루어지지 않으면 비즈니스 성과에도 직접적인 영향을 미칩니다. 이러한 영향은 구체적이고 측정 가능하지만, 경영진 차원에서는 그 심각성이 충분히 인식되지 않는 경우가 많습니다. 바로 이 때문에 문서 인텔리전스는 단순한 기술적 과제에 그치지 않습니다. 많은 조직에서 이는 운영과 재무 전반에 영향을 미치는 문제가 되었습니다.
파싱 오류는 발생하는 즉시 눈에 띄는 경우가 거의 없습니다. 대신 이후의 워크플로와 의사결정, 비즈니스 프로세스를 거치면서 누적되고 확대됩니다. 문제가 가시화될 때쯤이면 이를 해결하는 데 드는 비용이 사전에 예방하는 비용보다 훨씬 커지는 경우가 많습니다.
금융 서비스
금융 서비스 분야에서는 펀드 관리기관의 자본계정 명세서에 기재된 값 하나를 잘못 읽는 것만으로도 이후의 인수 심사나 준비금 산정 모델에 연쇄적인 오류가 발생할 수 있습니다. 이러한 오류는 규제 리스크로 이어질 수 있으며 이를 바로잡는 데 수백만 달러에 이르는 비용이 발생하기도 합니다.
의료
의료기관은 보험금 청구서, 송금 안내서, 임상 문서에서 필요한 정보를 추출하는 작업을 여전히 수작업에 크게 의존하고 있습니다. 이는 데이터 구조 자체가 복잡하기 때문이기도 하고, 보호 대상 건강정보를 다루는 엄격한 요건 때문이기도 합니다.
문서에서 필요한 정보를 수작업으로 추출하는 비용은 항상 의료 데이터 운영 예산에서 가장 큰 비중을 차지하는 항목 중 하나로 꼽힙니다.
통신
통신 분야의 사업자 간 접속 요금 청구서와 서비스 수준 계약(SLA)에는 복잡한 요율표가 포함되는 경우가 많지만, 이를 대규모로 정확하게 읽어내는 시스템은 찾아보기 힘듭니다. 이동통신사 규모에서는 작은 오차도 수억 달러의 이익 손실로 이어질 수 있습니다.
산업은 달라도 문제의 양상은 같습니다. 문서를 제대로 이해하지 못하는 것은 단순한 기술적 불편 사항이 아닙니다. 눈에 잘 띄지 않게 누적되면서 손익에 직접 영향을 미치는 문제입니다.
정확성과 데이터 주권 사이의 균형
정확도 문제에 더해 규제가 엄격한 기업에는 또 하나의 제약이 있습니다. 바로 AI 처리가 어디에서 이루어지느냐입니다.
지난 몇 년 동안 엔터프라이즈 AI 추론 기술 스택의 대부분은 점차 기업이 직접 통제하는 환경으로 이동했습니다. 가상 프라이빗 클라우드(VPC), 온프레미스 인프라, 데이터 주권 요건을 충족하는 클라우드 리전이 대표적인 사례입니다. 모델, 벡터 스토어, 오케스트레이션 계층, 통합 가시성도 이제 기반 데이터와 동일한 거버넌스 통제 아래에서 운영됩니다. 하지만 문서 파싱만은 예외적으로 외부 환경에 의존해야 했습니다.
그동안 정확도가 가장 높은 문서 처리 기능은 대부분 SaaS API 형태로만 제공되었습니다. 이 때문에 규제가 엄격한 기업은 정확도와 데이터 주권 가운데 하나를 선택해야 했습니다.
더 높은 정확도를 위해 기업의 가장 민감한 문서를 서드파티 API로 전송하거나,
데이터를 기업 경계 안에 유지하는 대신 가장 중요한 워크플로에서 상당한 정확도 저하를 감수해야 했습니다.
규정 준수, 법무, 리스크 관리 부서는 오랫동안 두 선택지 모두 불가피한 타협으로 여겨 왔습니다. 그 결과 많은 조직이 비즈니스 핵심 워크플로에 필요한 정확도를 확보하는 동시에 민감한 데이터의 처리 위치에 대한 통제권을 유지해야 하는 두 가지 중요한 목표 사이에서 균형을 맞추는 데 어려움을 겪었습니다.
최근까지는 이 두 가지를 모두 달성할 수 있는 뚜렷한 방법이 없었습니다.
성숙 단계에 접어든 엔터프라이즈 문서 인텔리전스
다행히 정확도와 데이터 주권 중 하나를 선택해야 했던 상황은 점차 해소되고 있습니다. 업계 전반에서 문서 인텔리전스 시스템을 평가하는 기준이 한층 엄격해지고 있으며, 특히 기존 파싱 방식으로는 처리하기 어려웠던 복잡한 표와 구조화 수준이 높은 비즈니스 문서에 대한 평가가 강화되고 있습니다.
이와 동시에 차세대 문서 인텔리전스 공급업체들이 등장하면서 기업이 직접 통제하는 환경에서도 높은 수준의 파싱 정확도를 구현할 수 있게 되었습니다. 최근 Pulse 팀은 규제가 엄격한 기업이 실제로 사용하는 문서를 바탕으로 표 파싱 성능을 평가할 수 있도록 설계한 최첨단 벤치마크인 PulseBench-Tab을 오픈 소스로 공개했습니다.
이 벤치마크에는 실제 재무 보고서, 정부 보고서, 기업 공시 자료, 규제기관 제출 문서에서 추출해 사람이 직접 주석을 단 표 1,820개가 포함되어 있습니다. 총 9개 언어와 4개 문자 체계를 다루며, 기존 파싱 시스템이 처리하기 어려운 병합 셀, 여러 행이나 열에 걸친 셀, 복잡한 표 구조도 다수 포함합니다.
특히 이 벤치마크는 텍스트 정확도와 구조 정확도를 함께 평가하는 통합 점수 체계인 T-LAG를 도입했습니다. 이를 통해 표의 구조를 제대로 유지하지 못한 채 대략적인 텍스트만 추출한 시스템이 높은 점수를 받는 것을 방지합니다.
이 벤치마크 결과는 이제 서드파티 SaaS 엔드포인트를 사용하지 않고도 최첨단 수준의 문서 파싱 정확도를 구현할 수 있음을 보여줍니다. 이에 따라 엔터프라이즈 AI 파이프라인의 신뢰성도 한층 높아질 수 있게 되었습니다.
총 9개 공급업체를 대상으로 독립적인 공개 평가를 실시했으며, 평가 방법론에는 S&P Global의 엔터프라이즈 데이터 조직 소속 전문가들의 학술적 자문이 반영되었습니다. 이 벤치마크에서 Pulse *는 1,820개 샘플 전체를 빠짐없이 처리해 T-LAG 점수 0.9347을 기록했으며, 0.8155를 기록한 차순위 공급업체를 크게 앞섰습니다.
엔터프라이즈 AI 기술 스택에 문서 인텔리전스 통합
이러한 발전으로 문서 인텔리전스를 데이터 파이프라인의 다른 구성 요소와 동일한 환경에서 운영하는 새로운 엔터프라이즈 AI 아키텍처를 구현할 수 있게 되었습니다. 거버넌스가 적용되는 기업 환경에 문서 인텔리전스를 배포할 수 있게 되면서, 기업은 문서 처리도 나머지 AI 기술 스택과 동일한 운영 및 거버넌스 경계 안에서 수행할 수 있습니다.
이를 AI 기반 레이크하우스 아키텍처와 결합하면 정형 데이터와 비정형 데이터를 더욱 통합된 방식으로 관리할 수 있습니다. 데이터 수집부터 추론에 이르는 전 과정에 일관된 보안, 데이터 계보, 통합 가시성, 거버넌스 통제를 적용할 수 있기 때문입니다.
Pulse *와 같은 솔루션은 이러한 아키텍처를 실제로 어떻게 구현할 수 있는지 보여줍니다. 민감한 데이터를 기업 환경 밖으로 내보내지 않고도 복잡한 문서를 파싱하고 구조화할 수 있도록 지원합니다.
그 결과 다음과 같은 작업을 위한 통합 파이프라인을 구축할 수 있습니다.
- 비정형 문서 파싱
- 비정형 문서를 구조화된 데이터로 변환
- 관련 컨텍스트를 임베딩하고 검색
- AI 모델을 사용해 결과 생성
그리고 이 모든 작업은 동일한 통제 환경 안에서 수행됩니다.
CIO는 보안, 감사, 관리가 필요한 서로 분리된 여러 환경을 조합하는 대신, AI 워크플로 전체에 하나의 거버넌스 경계를 적용할 수 있습니다.
CFO에게는 문서 처리를 반복적으로 비용을 지불해야 하는 외부 서비스에서 사내 역량으로 전환할 수 있다는 의미가 있습니다. 또한 이 역량은 이미 다양한 AI 및 데이터 이니셔티브를 지원하는 기존 인프라를 기반으로 구축할 수 있습니다.
더 중요한 점은 기업이 투자해야 할 대상이 달라진다는 것입니다. 모델에 대한 접근이 갈수록 쉬워지면서 경쟁 우위의 원천은 모델 자체에서 이를 구동하는 데이터 파이프라인의 품질, 거버넌스, 신뢰성으로 변화하고 있습니다.
규제 산업에서 기대할 수 있는 변화
규제 산업에서 AI 전략을 수립하는 경영진에게 문서 인텔리전스의 발전은 운영 지표의 실질적인 개선으로 이어집니다.
금융 서비스
금융 서비스 기업은 10-K 보고서 분석 및 공시 자료, 펀드 관리 기록, 보험·재보험 거래 내역표, 보험금 청구 내역표, 보험계리 보고서를 거버넌스가 적용된 자체 환경 안에서 모두 처리할 수 있습니다. 또한 문서 구조를 충분히 정확하게 파악할 수 있어 후속 작업을 수행하는 AI 에이전트도 그 결과를 신뢰하고 활용할 수 있습니다. 이에 따라 사람이 직접 검토해야 하는 부담과 소요 시간을 줄일 수 있습니다.
기존에 수작업으로 데이터를 대조하던 인력은 더 높은 가치를 창출하는 분석 업무에 투입할 수 있습니다.
의료
의료기관은 임상시험 데이터 추출, 검사 결과 데이터 수집, 보험급여 설명서(EOB) 처리와 같이 문서 작업이 많은 워크플로를 구조화된 보호 대상 건강정보(PHI)와 동일한 환경에서 자동화할 수 있습니다. 이를 통해 의료 데이터 운영 비용에서 큰 비중을 차지하는 항목을 크게 줄이는 동시에 진료비 수익 회수 주기를 단축하고 임상 연구 워크플로의 속도를 높일 수 있습니다.
통신사
통신 사업자는 사업자 간 접속 계약과 요금 청구 구조를 세부 항목까지 정확하게 분석해, 복잡한 요율표에 가려져 있던 과소 청구분을 찾아 회수할 수 있습니다.
이처럼 각 산업에서 문서 인텔리전스의 향상은 측정 가능한 비즈니스 가치로 직접 이어집니다.
미래: 주권 기반 AI 기술 스택
엔터프라이즈 AI의 중심축이 이동하고 있습니다. 모델 간 성능 격차가 계속 줄어들면서 지속적인 경쟁 우위의 원천은 한 단계 아래인 데이터에서 추론에 이르는 파이프라인으로 옮겨가고 있습니다. 특히 기업이 비정형 데이터를 얼마나 효과적으로 처리하고 거버넌스를 적용할 수 있는지가 중요해지고 있습니다.
이제 문서 인텔리전스의 수준이 AI의 정확도와 투자수익률(ROI)을 좌우합니다. 동시에 규제 산업에서는 데이터 주권이 반드시 지켜져야 합니다. AI는 데이터가 있는 곳에서 실행되어야 하기 때문입니다. 바로 이 지점에서 Cloudera의 ‘어디서나 AI를 활용하고 데이터를 관리한다’는 비전이 의미를 갖습니다. 하이브리드 및 멀티클라우드 환경 전반에 AI를 배포하고, 데이터는 기존 위치에 그대로 두면서 일관된 거버넌스를 적용하는 것입니다.
이를 Pulse와 결합하면 규제 대상 기업은 정확성과 통제권을 지키고, 이를 기반으로 구축한 모든 워크플로의 투자수익률까지 보호하면서 AI 네이티브 환경으로 전환할 수 있습니다. 이것이 바로 고객들이 원해 온 주권 기반 AI 기술 스택이며, 이제 그 비전을 현실로 구현할 수 있습니다.
