고객과 AI 활용 목표를 논의할 때 자주 듣는 어려움 중 하나는 프라이버시 침해 우려로 인해 AI 계획과 실행이 지연되는 경우가 많다는 점입니다. 고객들은 직원과 고객이 가장 정확한 결과를 얻을 수 있도록 기업 내 모든 데이터에 AI를 활용하고 싶어하지만, 1) 데이터의 양이 너무 많고, 2) 퍼블릭 엔드포인트로 전송할 경우 데이터 프라이버시가 훼손될 수 있다는 이유로 폐쇄형 대규모 언어 모델(LLM)에 데이터를 보낼 수 없다고 판단합니다.
이러한 문제를 해결하기 위해 Cloudera는 Private AI 개념을 제시하기 시작했습니다. 이를 통해 고객은 AI가 제공하는 모든 혜택을 누리면서 자사 고유의 데이터를 안전하게 보호할 수 있습니다.
NVIDIA 역시 같은 과제에 직면해 있지만, 이 국가 차원의 문제는 훨씬 더 넓고 높은 수준에서 전개되고 있습니다. 각국 정부는 자국 외부에서 AI를 운영하는 것이 자국의 이익에 부합하지 않는다는 점을 인식하고 있으며, 이에 따라 자국 내에서 데이터를 보관하고 AI를 운영할 수 있는 인프라를 구축하기 위해 힘쓰고 있습니다. 이를 통해 정부는 어떤 국가나 기관과 데이터를 공유하거나 AI 결과를 제공할지에 대한 통제권을 확보할 수 있습니다.
오늘 열린 GTC Paris 컨퍼런스에서 NVIDIA는 정부의 이러한 노력을 지원하기 위해 소버린 AI(Sovereign AI) 구축을 위한 핵심 요소들을 제시하였습니다. 이러한 이니셔티브는 고객이 자체 Private AI 플랫폼을 구현할 수 있도록 지원하는 데 집중하는 Cloudera의 전략에도 부합합니다.
NVIDIA는 Cloudera에 특히 중요한 두 가지 소식을 추가로 발표했습니다. 이번 블로그에서는 AI-Q: NVIDIA Blueprint for Enterprise Research 와 NVIDIA NIM 에 대해 살펴보고, 이 제품들이 고객에게 어떤 의미를 갖는지 설명드리겠습니다.
Cloudera AI와 함께하는 AI-Q: NVIDIA 청사진
NVIDIA가 도입한 기업 연구용 AI-Q 청사진은 Cloudera AI 가 고객의 복잡한 에이전틱 AI 요구 사항을 지원할 수 있는 기능을 확장합니다.
Cloudera AI Inference는 NVIDIA NeMo Retriever 와 AI-Q NVIDIA Blueprint 를 구성하는 LLM 추론 마이크로서비스(NVIDIA Llama Nemotron 추론 모델 포함)를 모두 호스팅할 수 있습니다. Cloudera AI 플랫폼이 모델 엔드포인트에 제공하는 강력한 개인정보 보호와 보안 기능에 탁월한 NVIDIA Agent Intelligence 툴킷 을 결합하면 기업의 에이전틱 애플리케이션을 한 단계 더 발전시킬 수 있습니다.
AI-Q NVIDIA Blueprint를 Cloudera AI와 함께 활용할 때의 이점
Cloudera AI Inference 서비스 내에서 AI-Q NVIDIA Blueprint를 활용하면 엄청난 AI 잠재력을 실현할 수 있습니다. 이 강력한 조합은 NVIDIA NIM과 NeMo Retriever 마이크로서비스로 패키징된 최첨단 추론 모델을 Cloudera AI에 통합하며, NVIDIA Agent Intelligence 툴킷과 완벽히 호환되어 에이전트, 도구, 데이터 간의 원활한 연결을 보장합니다.
이 멀티 프레임워크 기능은 조직이 강력한 개인정보 보호와 보안을 갖춘 정교한 엔터프라이즈 검색 보강 생성(RAG) 애플리케이션을 구축하여 최첨단 AI 기술을 최대한 활용할 수 있도록 지원합니다.
NVIDIA NIM 마이크로서비스와 Cloudera AI Inference
NVIDIA의 NIM 컨테이너는 LLM의 최대 성능을 빠르고 쉽게 구현할 수 있게 하는 혁신적인 솔루션입니다. 이 제품은 모델과 GPU 하드웨어에 따라 최적의 추론 백엔드를 자동으로 선택하여 LLM 배포 및 추론 속도를 크게 향상시키며, 모델에 구애받지 않는 추론 솔루션으로 다양한 최첨단 LLM의 운영을 효율화합니다.
더 나아가 NVIDIA NIM 마이크로서비스는 사용자가 NVIDIA TensorRT-LLM, vLLM, 또는 SGLang으로 가속화된 LLM을 신속하게 배포할 수 있도록 지원하여, NVIDIA 가속 플랫폼 어디서에서나 최고 수준의 추론 성능을 제공합니다. 이 서비스는 Hugging Face나 TensorRT-LLM 형식으로 저장된 모델을 지원하며, 다양한 LLM에 대해 기업용 추론 기능을 지원합니다. 사용자는 스마트 기본 설정을 통해 지연 시간과 처리량을 최적화할 수 있으며, 간단한 구성 옵션으로 성능을 정교하게 조정할 수도 있습니다. NVIDIA AI Enterprise의 일부인 NVIDIA NIM 마이크로서비스는 NVIDIA로부터 지속적인 업데이트를 받아 널리 사용되는 다양한 LLM과의 호환성을 보장합니다.
Cloudera AI Inference 내 NVIDIA NIM 활용의 이점
NVIDIA NIM은 고객이 AI 애플리케이션에서 LLM을 더욱 유연하게 활용할 수 있도록 지원합니다. Cloudera AI Inference 서비스에는 이미 NVIDIA NIM이 내장되어 있어 고객이 NVIDIA NIM 마이크로서비스를 쉽고 빠르게 실행할 수 있습니다. 고객은 단일 통합 플랫폼인 Cloudera의 사용 편의성, 보안, 그리고 원활한 지원과 함께 NVIDIA NIM의 이점을 경험할 수 있습니다.
NVIDIA NIM 마이크로서비스는 Cloudera AI Inference 서비스와의 원활한 통합을 통해 다음과 같은 주요 이점을 제공합니다.
배포 가속화: 사전 구축되고 최적화된 컨테이너를 활용해 LLM 애플리케이션을 더 빠르게 실행할 수 있습니다.
성능 향상: NVIDIA 가속 컴퓨팅의 잠재력을 최대한 활용하여 고속 추론과 지연 시간 단축을 실현합니다.
확장성: 증가하는 비즈니스 수요에 맞춰 LLM 배포를 손쉽게 확장할 수 있습니다.
간편한 관리: Cloudera의 직관적인 인터페이스로 LLM 배포를 관리하고 모니터링할 수 있습니다.
결론
Cloudera와 NVIDIA는 협업을 통해 기업이 퍼블릭 및 프라이빗 데이터를 포함한 모든 데이터에서 최신 AI 기술을 손쉽고 효율적이며 경제적으로 활용할 수 있도록 지원합니다. 두 회사는 개발부터 배포까지 AI 애플리케이션의 전 라이프사이클을 간소화하고 성능을 최적화함으로써 사용자들이 AI의 잠재력을 최대한 활용할 수 있도록 돕고 있습니다.
GTC Paris에서 발표된 소식에 관한 NVIDIA의 블로그 와 Cloudera의 AI 관련 블로그(특히 Dell, NVIDIA, Cloudera가 함께 선보인 'AI in a Box'에 관한 최신 게시글)도 꼭 확인해 보시기 바랍니다. 이 솔루션은 고객이 Private AI를 빠르고 쉽게 구현하면서 위험을 최소화할 수 있는 새로운 방법을 제시합니다.
