이제 일상적인 업무에도 AI가 활용되고 있습니다. 하지만 이를 뒷받침하는 워크로드가 한곳에만 머무르는 경우는 드뭅니다. 일부 워크로드는 프라이빗 환경에서 민감한 데이터와 가까운 곳에 있어야 합니다. 반면 퍼블릭 클라우드의 폭넓은 서비스 범위나 엣지 인프라의 빠른 처리 속도를 활용하는 편이 유리한 워크로드도 있습니다.
여기서 현실적인 고민이 생깁니다. 조직이 데이터와 운영에 대한 통제력을 유지하면서 각 워크로드를 최적의 성능을 발휘할 수 있는 환경에서 실행하려면 어떻게 해야 할까요?
Cloudera와 AMD *는 하이브리드 데이터 플랫폼과 확장 가능하고 쉽게 활용할 수 있는 인프라를 결합해 이 질문에 답합니다. 이를 통해 프라이빗 환경, 클라우드, 엣지에서 AI를 지원하는 기반이 마련되며, 팀은 각 환경을 서로 다른 방식으로 관리할 필요가 없습니다.
모델마다 다른 최적의 실행 환경
AI 도입이 확대될수록 배포에 관한 결정은 전략적으로 더욱 중요해집니다. 애플리케이션에 가장 적합한 위치는 해당 애플리케이션이 사용하는 데이터와 제공해야 하는 경험에 따라 달라집니다.
민감한 고객 정보를 처리하는 모델은 프라이빗 환경에서 실행되어야 할 수 있습니다. 반면 고객용 애플리케이션은 클라우드의 탄력성을 활용할 때 더 유리할 수 있습니다. 조직이 워크로드별로 이러한 선택을 할 수 있으면 모든 애플리케이션을 하나의 배포 모델에 묶지 않고도 성능을 더 잘 제어할 수 있습니다.
AI 포트폴리오가 확장될수록 이러한 유연성은 더욱 중요해집니다. 초기 개념 증명에 적합했던 방식이 수천 명의 사용자에게 서비스를 제공하는 프로덕션 애플리케이션에는 적합하지 않을 수 있기 때문입니다. 여러 환경을 지원하는 아키텍처를 갖추면 팀이 사용 패턴과 비즈니스 요구 사항의 변화에 따라 배치 위치를 유연하게 조정할 수 있습니다.
하이브리드 프라이빗 AI가 전략적 선택으로 부상하는 이유
워크로드의 실행 위치를 정하는 것만으로는 충분하지 않습니다. 팀에는 전체 기술 환경에 걸쳐 워크로드를 일관되게 배포하고 거버넌스를 적용할 수 있는 방법도 필요합니다.
데이터 거버넌스와 규제 요건은 워크로드의 배치 결정을 좌우하지만 환경마다 작업 방식이 달라지면 운영이 순식간에 지나치게 복잡해질 수 있습니다. 하이브리드 프라이빗 AI는 조직이 환경 전반의 통제력을 유지하면서 워크로드를 필요한 데이터 가까이에서 실행할 수 있도록 공통 프레임워크를 제공합니다.
또한 많은 양의 독점 데이터를 시스템 간에 이동해야 하는 부담을 줄일 수 있습니다. 컴퓨팅 인프라를 데이터 가까이에 두면 전송 비용을 낮추고 운영을 단순화하는 동시에, 조직이 이미 보유한 인프라에서 더 많은 가치를 얻을 수 있습니다.
이 접근 방식을 따르면 팀은 단절된 아키텍처의 제약에 얽매이지 않고 애플리케이션 자체를 고려해 배치 위치를 더 자유롭게 결정할 수 있습니다. 중요한 영역에서는 로컬 제어를 유지하고, 규모 확대나 가용성 확보를 위해 필요한 경우에는 클라우드 리소스를 활용할 수 있습니다.
컴퓨팅은 전체 기술 스택의 일부
고성능 컴퓨팅은 모델이 학습하고 응답하는 데 필요한 처리 능력을 제공합니다. 하지만 그것만으로 모델이 비즈니스를 이해하게 되는 것은 아닙니다.
모델이 비즈니스를 이해하는 데 필요한 맥락은 엔터프라이즈 데이터에서 얻습니다. 모델이 조직의 고객, 운영, 우선순위를 반영하는 결과를 생성하려면 관련성이 높고 거버넌스가 적용된 정보에 액세스할 수 있어야 합니다. 이처럼 실제 데이터에 근거하지 않으면 성능이 뛰어난 모델이라도 실제 비즈니스 활용에 필요한 구체성이 부족한 응답을 생성할 수 있습니다.
신뢰할 수 있는 프로덕션 워크플로우도 중요합니다. 데이터를 효율적으로 준비하고 검색할 수 있어야 하며, 수요가 늘어나도 추론 응답 속도를 유지해야 합니다. 팀은 배포 후 애플리케이션이 어떻게 작동하는지도 파악할 수 있어야 합니다. 그래야 성능 문제를 식별하고 요구 사항 변화에 맞춰 조정할 수 있습니다.
이러한 기능을 갖춰야 유망한 모델이 사람들이 일상 업무에서 믿고 사용할 수 있는 애플리케이션으로 발전할 수 있습니다. 또한 개별 파일럿 단계에서 벗어나 조직 전반으로 AI 도입을 확대하는 데도 도움이 됩니다.
엔터프라이즈 AI를 하나로 연결
Cloudera와 AMD는 각자의 기술을 결합해 이러한 기반을 함께 마련합니다.
Cloudera는 데이터 준비, 모델 개발, 거버넌스 관리부터 프로덕션 단계의 애플리케이션 지원까지 아우르는 플랫폼을 제공하고, AMD는 데이터 처리와 검색부터 모델 추론까지 전체 수명 주기를 뒷받침하는 엔드투엔드 컴퓨팅 기반을 제공합니다.
이를 통해 조직은 리소스 배분 방식을 더 폭넓게 선택할 수 있습니다. 챗봇이나 검색 증강 생성 시스템처럼 소형 및 중형 모델을 기반으로 구축된 애플리케이션은 CPU 인프라에서 효율적으로 실행될 수 있습니다. 더 많은 처리 능력이 필요한 워크로드에는 성능 요건에 따라 가속 컴퓨팅을 활용할 수 있습니다.
이러한 구분은 중요합니다. 모든 애플리케이션에 동일한 수준의 처리 능력이 필요한 것은 아니기 때문입니다. 모든 워크로드에 리소스를 가장 많이 사용하는 인프라를 적용하면 그에 상응하는 비즈니스 이점 없이 비용만 늘어날 수 있습니다.
워크로드를 기준으로 접근하면 팀은 현재 활용 목적에 맞는 리소스를 선택하고 수요 변화에 따라 조정할 수 있습니다. 동시에 데이터 관리와 애플리케이션 운영을 일관된 플랫폼을 통해 계속 연계할 수 있으므로 인프라 요구 사항 변화로 인한 혼란을 줄일 수 있습니다.
다음 단계를 위한 준비
모델과 워크로드의 조합은 계속 달라질 것입니다. 조직은 각 애플리케이션을 뒷받침하는 데이터 기반이나 운영 모델을 다시 구축하지 않고도 다양한 유형의 컴퓨팅을 자유롭게 사용할 수 있어야 합니다.
Cloudera와 AMD는 엔터프라이즈 데이터를 더욱 다양한 워크로드에 유연하게 대응할 수 있는 인프라와 연결함으로써 이러한 유연성을 제공합니다.
Cloudera와 AMD *가 하이브리드 환경 전반에서 AI를 구축하고 확장하는 데 어떻게 도움이 되는지 알아보세요.
앞으로 전 세계에서 개최될 Cloudera의 다음 EVOLVE26 행사에서 AMD를 만나 보세요. 자세히 알아보기.
