인터넷의 등장부터 클라우드 컴퓨팅의 폭발적 확산에 이르기까지, 주요 기술 시대마다 데이터의 활용 방식과 생성 방식은 근본적으로 변화해 왔습니다. 클라우데라 최고기술책임자(CTO) Sergio Gago에 따르면, 우리는 이제 융합을 중심으로 한 빅데이터의 세 번째 단계에 진입하고 있습니다.
그는 최근 The AI Forecast 팟캐스트에 출연해 클라우드와 온프레미스 시스템이 하나로 융합되며, 기업이 데이터, 모델 및 AI 전 과정을 자유롭게 통제할 수 있는 프라이빗 AI 시대가 열리고 있다고 설명했습니다.
Sergio Gago가 나눈 대담의 주요 내용은 다음과 같습니다.
클라우드와 온프레미스의 융합: 프라이빗 AI의 출발점
Paul: 전문가로서의 의견을 들어보고 싶습니다. 말씀하시는 빅데이터의 세 번째 물결은 무엇이며, 왜 중요한가요?
Sergio: 초기의 기업 IT 환경은 '통제의 시대'였습니다. 많은 기업이 자체 데이터 센터를 운영하며 데이터를 직접 통제했죠. 이후 클라우드가 등장하면서 우리는 ‘편의성의 시대’로 접어들었습니다. 신용카드만 있으면 팀원 누구나 하이퍼스케일러에 접속해서 머신 러닝이나 대시보드 구축을 위해 데이터 작업을 시작할 수 있었습니다. 하지만 이러한 편의성은 많은 기업에서 섀도 IT를 확산시켰고, 그 결과 비용, 총소유비용(TCO), 데이터 거버넌스를 관리하기가 점점 더 어려워졌습니다.
이것이 클라우드와 데이터가 걸어온 과정이었습니다. 그런데 지금은 어딜 가나 수백 개의 엔진, 데이터베이스, 옵션들이 넘쳐납니다. 우리는 이런 상황을 ‘프랑켄슈타인 아키텍처’라고 부릅니다. 기업들이 수십 개, 심지어 수백 개의 구성 요소를 보유하고 있으면서도 이를 통합하는 데 어려움을 겪고 있기 때문입니다. 편의성의 시대가 이런 복잡성을 가져온 것입니다.
이제 AI와 AI 에이전트 *가 등장하고 많은 기업과 스타트업이 규제 및 규정 준수 요구에 직면한 상황에 대해 이야기해 보겠습니다. 특히 대기업들은 이를 충족하기 위해 초기 ‘통제의 시대’의 모든 관리 요소를 다시 도입해야 합니다. 기업과 조직은 데이터 센터와 클라우드라는 두 세계를 통합해 데이터 센터의 통제력과 거버넌스는 유지하면서 클라우드의 편의성도 함께 확보해야 하는 상황에 놓였습니다. 그래서 우리는 세 번째 물결을 '융합의 시대'라고 부릅니다.
프라이빗 AI: 전체 라이프사이클 통제와 인간 역량의 가치
Paul: 프라이빗 AI의 구성 요소에 대해 이야기를 들어보고 싶습니다. 프라이빗 데이터를 보유한 기업은 엄청난 경쟁 우위를 가질 수 있습니다. 그렇다면 프라이빗 AI는 어떻게 경쟁력 강화에 기여하나요?
Sergio: 프라이빗 AI란 AI 애플리케이션의 전체 라이프사이클을 통제할 수 있는 능력을 의미합니다. 어떤 모델을 사용할지, 어떻게 배포할지, 규정 준수 관점에서 어떤 모델이 승인되었는지, 그리고 모델 가중치를 필요한 기간 동안 어떻게 안정적으로 유지할지와 같은 질문들이 포함됩니다. 또한 기업 데이터는 클라우드와 데이터 센터 양쪽에 존재합니다. 학습, 미세 조정 또는 RAG와 같은 기법을 위해 이러한 데이터를 모델로 안전하게 가져와야 합니다. 바로 이 과정을 통해 ‘차별화된’ 모델을 만들 수 있습니다.
오늘날 대부분 기업의 경쟁 우위는 데이터뿐만 아니라, 이를 해석하고 인사이트를 도출하는 인간의 역량에 달려 있습니다. 데이터 자체가 아니라 데이터를 해석할 수 있게 해주는 경험과 도메인 지식이 핵심입니다. 프라이빗 AI는 모델 라이프사이클 관리부터 프롬프트 관리, 계보, 벤치마킹에 이르기까지 모든 요소를 통제함으로써 개념 검증을 넘어 실제 프로덕션 환경의 AI 워크로드로 확장할 수 있도록 지원하며, 이러한 과정이 기업의 경쟁 우위를 만들어냅니다.
에이전트, 거버넌스 및 문화까지 고려한 ROI 및 리스크 관리 전략
Paul: 융합과 같은 주제를 이야기하다 보면, 비즈니스 담당자들이 이를 CTO에게나 해당되는 기술적인 논의로만 받아들이는 경향이 있습니다. CEO나 비즈니스 리더의 관점에서 볼 때, 이러한 융합이 이전에는 얻을 수 없었던 어떤 새로운 활용 사례나 비즈니스 가치를 창출한다고 생각하시나요?
Sergio: CEO는 항상 어떤 도구가 실제로 어떤 가치를 창출하는지에 알고 싶어합니다. 그 가치는 ROI, 비용 절감 또는 기업 가치의 향상과 같은 형태로 이해됩니다. 생성형 AI는 이러한 가치를 실현하는 수단에 불과합니다.
동시에 모든 CEO가 최우선으로 고려하는 또 하나의 요소는 리스크입니다. 이는 뒤처질 것에 대한 두려움일 수도 있고, 대규모 AI 환각 문제로 언론의 헤드라인을 장식하는 다음 기업이 될지도 모른다는 우려일 수도 있습니다. CEO는 항상 이 두 가지 요소를 중점적으로 저울질합니다.
생성형 AI 활용 사례는 반드시 비즈니스 관점에서 출발해야 합니다. 규정 준수, 거버넌스, IT, 사이버 보안, 법무 부서를 처음부터 함께 참여시켜야 합니다. 그래야 개인적인 실험 수준에서 끝나고 조직 전반으로 확산되지 못하는 상황을 피할 수 있습니다. 이러한 관점에서 가치를 입증해야 비로소 생성형 AI를 엔터프라이즈 전반으로 확장할 수 있습니다.
Sergio Gago와의 전체 대담은 Spotify, Apple Podcasts, YouTube에서 The AI Forecast를 통해 확인할 수 있습니다.
