AI의 성능은 그 기반이 되는 데이터 아키텍처에 의해 좌우됩니다.
The AI Forecast 52화 LLM만으로는 충분하지 않은 이유와 AI 패브릭이 가져올 변화 편에서 진행자 Paul Muller는 미국 세인트폴에 있는 콘코디아 대학교 경영·기술대학 학장이자 Codename 37의 공동 창업자 겸 CTO인 Jake Trippel 박사와 함께 기업의 AI 확장을 가로막는 요인을 짚어봅니다.
분절된 데이터 아키텍처
머신러닝, 딥러닝, 신경망의 잠재력에 대한 이해 부족
누적되는 기술 부채
두 사람의 대화는 클라우드와 온프레미스 간 경제성 비교부터 SaaS 애플리케이션에서 봇 기반 경험으로의 전환까지 폭넓게 이어집니다. 다음은 대담의 주요 내용입니다.
AI 아키텍처가 한계에 부딪히는 이유
Paul: 그동안 AI와 데이터 아키텍처가 어떻게 발전해 왔는지, 그리고 왜 지금 이 요소들을 다시 고민해야 하는지 말씀해 주시겠습니까?
Jake: 디지털 전환 시대를 거치면서 데이터가 핵심 과제로 떠올랐습니다. 플랫폼이 그렇게 설계되어 있었고 데이터 역시 그에 맞게 구성되어 있었기 때문에 우리는 데이터 사일로에 머물러 있었습니다. 이후 다양한 통합을 시도했습니다. 온갖 애플리케이션 통합 엔진을 도입해 보기도 했습니다. 문제를 해결할 실용적인 해법을 찾으려 했지만 결과적으로는 ELT와 ETL, 각종 시스템 간 연계가 뒤엉킨 복잡한 스파게티 구조만 남게 되었습니다.
지금 상황을 따져보면, 현재의 문제는 이런 조직들이 우리를 계속 사일로 안에 머물게 할 유인을 갖고 있다는 점입니다. 이제 AI 데이터 사일로까지 등장했고 데이터는 여전히 사일로에 갇혀 있습니다. 바로 이 지점에서 클라우드가 중요해집니다. 그리고 바로 이런 이유로 우리는 Cloudera와 협력하고 있습니다.
같은 문제가 더 큰 규모로 확대되었다고 생각해 보십시오. AI 에이전트가 넘쳐나지만 그 에이전트들은 각자 자기 데이터 사일로 안에서만 작동하고 있습니다.
사람들은 새로운 면을 원하게 될 것입니다. 서로 협력하고 소통하며 함께 추론하는 에이전트를 찾게 될 것입니다. 하지만 데이터가 여전히 사일로에 묶여 있다면 이를 어떻게 실현할 수 있을까요? 데이터 메시 구조로 나아가려면 구조적 전환이 필요하며 Cloudera는 바로 이러한 전환을 지원할 수 있는 효과적인 솔루션입니다.
대규모 언어 모델만으로는 충분하지 않은 이유
Paul: 데이터를 다룰 때 효과를 극대화하기 위해 실제로 활용하시는 방법이나 모범 사례, 팁이 있다면 무엇일까요?
Jake: 가장 중요한 것은 대규모 언어 모델이 모든 문제의 해답은 아니라는 점을 이해하는 것입니다. AI의 세계는 훨씬 더 넓습니다.
대규모 언어 모델은 특정 작업에는 매우 뛰어나지만 다른 영역에서는 한계가 분명합니다. 사람들은 머신러닝, 딥러닝, 신경망의 힘을 이해해야 합니다. 사실 이런 기술들이야말로 앞서 말한 다른 두 접근 방식의 핵심을 이루고 있습니다.
지금 우리에게 필요한 역량은 적합한 사용 사례에 맞는 모델을 개발하거나 활용하고, 데이터를 빠르게 처리해 내는 능력입니다. 여기에 집중해야 합니다.
기술 부채의 누적 효과
Paul: 박사님의 경험과 견해로 볼 때, 조직은 현재의 상태에서 앞으로 나아가기 위해 현실적으로 어떻게 움직이기 시작해야 할까요? 데이터는 어떻게 정리해야 할까요? 그리고 시스템에 문제를 일으키지 않으면서 변화할 수 있는 방법이 있을까요?
Jake: 꽤 복잡한 질문이지만 몇 가지로 나눠서 설명드리겠습니다. 이런 시스템이 30년 넘게 이어져 온 데에는 그만한 이유가 있습니다. 지금도 AS/400 시스템들이 쓰이고 있는데, 실제로 잘 작동합니다. 이 점에 대해서는 IBM을 높이 평가할 수밖에 없습니다.
하지만 이런 조직들의 안게 되는 고민은 결국 얼마만큼의 자본이 계속 소모되고 있느냐는 것입니다. 기술 부채는 시간이 갈수록 불어납니다. 그래서 해마다, 또 수십 년에 걸쳐서까지 문제를 계속 미뤄둘 수는 있겠지만, 비용은 계속 증가할 수밖에 없습니다.
다행히 지금은 선택지가 있습니다. 이제는 데이터를 분리해 이전보다 훨씬 더 많은 일을 할 수 있습니다. 모든 것을 한 번에 바꾸는 대신 데이터에 대한 액세스를 유지할 수 있다면 기존 환경과 병행해 다양한 경험을 자유롭게 구현할 수 있습니다.
AI 워크로드의 온프레미스 회귀 현상
Paul: 요즘 기존 고객들이 새로운 워크로드 배포를 검토하는 과정에서 어떤 흐름이 보이나요?
Jake: 온프레미스로의 대규모 회귀가 나타나고 있습니다. 정말 놀라운 변화입니다. 전혀 예상하지 못했습니다.
이런 조직들이 모델 개발과 학습 등 관련 작업을 점점 더 많이 수행하게 되면서 클라우드 비용 구조가 지나치게 비싸졌습니다. 이러한 모델 학습에 매달 막대한 비용을 쓰는 것을 반기는 CFO는 거의 없었습니다.
결국 기업들은 관련 투자를 확대하며 다시 데이터 센터로 회귀하고 있습니다. 이 투자는 향후 5년 동안 감가상각하는 방식으로 처리됩니다. 이러한 흐름은 의료기기, 금융 서비스, 항공 산업 등에서 나타나고 있습니다. 대부분은 하이브리드 구조지만, 특히 학습과 개발과 같은 특정 워크로드에서는 온프레미스가 훨씬 비용 효율적입니다.
학습을 증폭시키는 AI의 두 얼굴
Paul: 교육 분야에서는 어떤 변화가 나타나고 있습니까?
Jake: AI는 모든 것을 증폭시키는 도구입니다. 좋은 것도, 나쁜 것도 모두 증폭시킵니다.
좋은 점은 사람들이 이전보다 10배, 20배 더 빠르게 학습할 수 있다는 것입니다. 단 3초 만에 책을 읽어내는 모델을 직접 개발한 적도 있습니다. 이제는 데이터를 깊이 파고들며 개인의 학습 방식에 맞춘 원하는 형태의 학습 경험을 직접 만들어낼 수 있습니다.
문제는 학생들이 “굳이 내가 할 필요는 없다”고 여기게 될 수 있다는 점입니다. AI에게 일을 전부 맡기면 우리는 결국 아무것도 배우지 못하게 됩니다. 이것이 가장 우려되는 부분입니다.
지금 시대에 가장 중요한 역량은 배우는 것을 즐기는 태도입니다. 앞으로의 커리어 동안 우리는 매일 끊임없이 새로운 것을 배워야 하기 때문입니다.
Jake Trippel 박사와의 전체 대담은 Spotify, Apple Podcasts, YouTube에서 The AI Forecast를 통해 청취할 수 있습니다.
