엔터프라이즈 AI의 문서 데이터 병목
비정형 데이터는 전체 엔터프라이즈 데이터의 약 80%를 차지하지만 데이터 분석과 AI 활용 사례에서는 충분히 활용되지 못하고 있습니다. 조직은 복잡한 PDF와 스캔 기록이 폭발적으로 증가하는 상황에 직면해 있으며, 기존 광학 문자 인식(OCR) 도구와 범용 대규모 언어 모델(LLM)은 이러한 문서를 대규모로 정확하게 처리하는 데 어려움을 겪고 있습니다. 기존 방식은 작은 변화에도 오류가 발생하기 쉬운 템플릿 기반 OCR에 크게 의존합니다. 이 방식은 문서 형식이 달라지거나 손글씨가 포함되거나 스캔 품질이 낮을 경우 정확도가 쉽게 떨어지고, 결국 수작업 검토 과정에서 심각한 병목이 발생합니다. 반면 범용 LLM은 문서 구조를 제대로 유지하지 못하거나 인용 근거를 제공하지 못하는 경우가 많으며, 실제와 다른 값을 생성하는 환각이 발생할 위험도 있습니다. 또한 핵심 데이터는 서로 단절되어 있고 세밀한 제어가 어려운 보안 모델을 사용하는 아키텍처 사일로에 갇혀 있습니다.
이러한 문제는 문서 데이터를 AI 활용 사례에 통합하는 데 큰 장벽이 됩니다. 오류율이 높아 규제 위험이 발생할 수 있기 때문입니다. 예를 들어 보험금 청구 파일의 보장 한도를 잘못 읽으면 법적 위험으로 이어질 수 있습니다. 또한 문서 데이터 추출과 처리에 드는 건당 비용이 높아 대량 문서 데이터를 AI/ML 활용 사례에 적용하는 데 제약이 생깁니다. 여기에 수작업 검토, 서로 다른 스키마를 가진 데이터 사일로, 각기 다른 보안 거버넌스 메커니즘까지 더해지면 해당 데이터를 AI/ML 활용 사례에서 사용할 수 있는 상태로 만드는 데 시간이 더 오래 걸립니다. 추출된 결과를 공통 스키마로 표준화하고 피처로 변환하려면 수많은 ETL 파이프라인이 필요하기 때문입니다.
Cloudera와 Pulse의 파트너십: 대규모 문서 AI를 위한 참조 아키텍처
Cloudera와 Pulse는 기존 방식의 한계를 극복하는 대규모 문서 추출 및 처리 기능을 제공하기 위해 협력하고 있습니다.
Pulse *는 복잡한 PDF, 손글씨 메모, 표, 차트를 처리하기 위해 필요했던 여러 데이터 추출 파이프라인을 하나의 다단계·다중 모델 파이프라인으로 대체합니다. 이를 통해 정확도가 높고 감사에 바로 활용할 수 있는 데이터를 제공합니다. 각 데이터 추출 단계는 해당 작업에 맞게 구축된 모델이 수행하며, “Pulse Brain”은 의미적 맥락과 문서 레이아웃을 이해하고 추출 결과에 대한 추론을 통해 출력 전에 오류를 찾아낼 수 있습니다.
Cloudera *는 중앙 집중식 개방형 데이터 레이크하우스와 엔터프라이즈 AI 플랫폼을 제공합니다. 이 플랫폼은 SDX를 통한 통합 보안 및 거버넌스 계층을 기반으로 데이터 스트리밍, 데이터 엔지니어링, 데이터 웨어하우징, ML/GenAI를 대규모로 통합합니다. 또한 속성 기반 데이터 액세스 제어, 데이터 계보, 메타데이터의 능동적 보강 및 카탈로그화 기능을 지원합니다.
두 솔루션의 결합은 단일 관리 화면을 통해 서로 다른 퍼블릭 및 프라이빗 클라우드 환경 전반에서 (Pulse로 처리된) 정형 및 비정형 문서 데이터를 공통 보안 및 거버넌스 프레임워크 아래 통합하는 기술 아키텍처를 제공합니다. 이 아키텍처는 서로 다른 다양한 데이터 소스 전반에서 피처 엔지니어링 워크플로우를 표준화하고, AI/ML 활용 사례에서 정형 데이터와 문서 데이터를 결합해 활용할 수 있도록 합니다. 또한 온프레미스나 클라우드에 있는 외부 도구가 정형 데이터와 문서 데이터에 액세스할 수 있도록 통합 데이터 공유 계층을 제공합니다.
두 솔루션을 함께 활용하면 일반적으로 최대 3일이 걸리는 수작업 수정과 품질 보증 작업을 제거하여 문서 데이터를 AI 활용 사례에 통합하는 시간을 최소화하고, 추출 시간을 3시간 미만으로 단축합니다.
Cloudera는 데이터 엔지니어링 및 LLM 추론 워크로드에서 각각 최대 20배 및 36배의 성능 개선을 제공합니다. Pulse 역시 여러 GPU 및 CPU 최적화를 적용하여 데이터 추출 건당 비용을 최소화하고 GPU 활용률을 30% 높입니다.
민감한 데이터와 규제 산업을 위한 설계
금융 서비스나 의료처럼 규제를 받는 산업에서는 발견되지 않은 데이터 추출 오류가 단순한 품질 문제에 그치지 않고, 수백만 달러의 손실이나 규제 위험으로 이어질 수 있습니다. 예를 들어 소수점 위치가 잘못되거나 마침표가 쉼표로 해석되면 심각한 AML/KYC 검증 오류가 발생할 수 있으며, 이로 인해 거액의 벌금이 부과될 수 있습니다.
Cloudera와 Pulse 솔루션은 민감한 데이터와 규제 산업을 염두에 두고 설계되었습니다. 솔루션 전체를 고객의 가상 프라이빗 클라우드(VPC)에 배포할 수 있어 문서 데이터 추출이나 고급 분석을 위해 데이터를 퍼블릭 네트워크로 내보낼 필요가 없습니다.
Pulse는 추출된 모든 필드를 원본 페이지의 정확한 위치와 직접 연결해 프로덕션 환경에서 데이터의 근거를 확인하고 검증할 수 있도록 합니다. 또한 맥락과 계층적 관계를 보존해 거의 완벽한 문서 추출이 가능합니다. 특히 스프레드시트 데이터의 경우 레이아웃, 서식 규칙, 금융 데이터 특유의 세부적인 의미와 표현 방식을 포착할 수 있어 숨겨진 열을 누락하거나 계층형 데이터를 제대로 처리하지 못하는 등 기존 방식의 한계를 극복할 수 있습니다.
Cloudera의 개방형 데이터 레이크하우스 *는 SDX를 통해 생명과학 분야의 GxP 규정 준수 *와 같은 엄격한 규제 요건을 충족하는 세분화된 데이터 보안 메커니즘을 제공합니다. Cloudera Data Lineage는 원본 스캔 문서부터 벡터 데이터베이스 항목까지 데이터의 세부적인 구조적 관계를 추적하여 규정 준수에 바로 활용할 수 있는 추적 기록을 생성합니다.
AI 이니셔티브의 성과를 높이는 핵심 동력
두 솔루션의 결합은 AI 이니셔티브에서 특히 큰 가치를 발휘합니다. AI 모델의 성능이 보편화되면서 이제 기업의 경쟁력은 단순히 모델에 액세스할 수 있는지 여부보다 기업만의 독점 데이터에 훨씬 더 크게 좌우되기 때문입니다. Cloudera와 Pulse는 비정형 문서 저장소를 정제되어 실제로 활용할 수 있는 자산으로 전환하여 기업이 이 강력한 경쟁 우위를 안전하게 활용할 수 있도록 지원합니다. Cloudera와 Pulse는 함께 Cloudera RAG Studio에서 벡터 검색이 의미를 더욱 정확하게 반영하도록 개선하고, 매우 민감한 독점 문서 데이터베이스를 안전한 비즈니스 인텔리전스와 고급 에이전트 기반 파이프라인을 위한 포괄적인 기반으로 전환합니다.
대규모 비즈니스 가치 제공
엔터프라이즈 배포 환경에서 Pulse는 기존 문서 추출 방식과 비교해 전례 없는 성과를 거두었습니다.
한 주요 전력회사는 Pulse를 통해 120만 건의 손글씨 현장 문서를 변환하여 수십 년 동안 어떤 시스템도 정확하게 디지털화하지 못했던 데이터에서 97.5%의 정확도를 달성했습니다. 한 주요 보험 중개사에서는 여러 해외 팀이 처리하던 문서 데이터에서 일관되게 99%의 정확도를 제공한 최초의 시스템이 되었으며, 완전한 형태로 감사를 받을 수 있는 정형 데이터를 생성하는 데 걸리는 시간을 76% 단축했습니다.
Cloudera 기능 *과 Pulse 플랫폼에 대해 자세히 알아보세요.
