벌써 2026년 마지막 분기가 다가오면서 AI에 대한 목표를 실질적인 성과로 전환해야 한다는 압박도 커지고 있습니다. The AI Forecast는 8월 한 달 동안 AI를 실제 현장에서 활용한다는 것이 무엇을 의미하는지 살펴보았습니다.
이번 The AI Forecast에서는 진행자 Paul Muller가 Mark Ritcey, Varun Puri, Shanea Leven과 함께 엔터프라이즈 전반에서 AI를 실제로 도입하고 활용할 때 마주하는 현실적인 과제를 살펴보았습니다. AI의 잠재력을 의미 있는 비즈니스 가치로 전환하려면 무엇이 필요한지 세 가지 관점에서 정리해 보겠습니다.
1. 기술보다 행동 변화와 성과를 먼저 고려해야 합니다
Yoodli의 공동 창립자이자 CEO인 Varun Puri는 성공적인 AI 도입이 사람들이 해결하려는 문제와 변화시키고자 하는 행동에서 시작된다고 생각합니다.
Puri는 “저는 우리가 AI 기업이 아니라고 자주 말합니다. 사실 AI가 해법인지도 중요하지 않습니다. 우리는 행동 변화를 만드는 기업입니다”라고 말합니다. “사람들이 중요한 대화에서 어려움을 겪는 이유는 연습이 부족하기 때문입니다. 실력을 높이는 가장 좋은 방법은 자신을 녹화하고, 그 모습을 보며 민망함을 느낀 뒤, 그 과정을 세 번 더 반복하는 것입니다.”
이 과정에서 AI는 연습을 더 쉽게 만들어 주는 수단이 됩니다. AI는 개선이 필요한 구체적인 영역을 보여주고, 사람들이 반복적으로 연습할 수 있도록 지원합니다. Puri는 “AI는 흥미로운 인사이트를 제공합니다. 조직 차원의 통계도 제공합니다. 하지만 핵심은 연습과 더 높은 자기 인식입니다”라고 말합니다.
이러한 성과 중심의 사고방식은 조직이 ROI를 평가할 때도 유용합니다. Puri는 가상의 사례를 제시했습니다. 그는 “Google의 입장에서 생각해 보겠습니다. 저는 15,000명의 영업 담당자를 대상으로 새로운 Gemini 영업 메시지를 교육해야 합니다. 예전 같으면 모두가 같은 메시지를 말하도록 하는 데 6개월이 걸렸을 것입니다. 이제는 6일이면 됩니다. 온보딩 기간이 줄어든 것이죠”라고 설명합니다. “이것이 바로 금전적 가치로 이어질까요? 아직은 아닙니다. 하지만 매우 빠르게 정량화할 수 있습니다.”
Puri가 강조하는 교훈은 먼저 성과를 정의하고, AI가 그 성과 달성에 도움이 되는지를 기준으로 평가해야 한다는 것입니다. 그 성과는 생산성 향상일 수도 있고, 더 나은 커뮤니케이션일 수도 있습니다. 기술은 목표 자체가 아니라 목표를 달성하는 수단이 될 때 가장 큰 의미를 갖습니다.
2. 엔터프라이즈 AI의 성공은 체계적인 접근에서 시작됩니다
조직들이 AI에 막대한 리소스를 투입하면서 빠르게 성과를 내야 한다는 압박도 커지고 있습니다. 하지만 LatentBridge의 AI 및 자동화 제공 부문 부사장인 Mark Ritcey는 성공적인 엔터프라이즈 AI가 비즈니스 문제를 정의하고 해당 문제를 중심으로 적절한 구조를 구축하는 기본적인 단계에서 시작된다고 봅니다.
Ritcey는 “저는 성공적인 AI 활용 사례를 직접 보고, 경험하고, 제공해 왔습니다”라고 말합니다. “그 사례들은 매우 다양한 영역에 걸쳐 있습니다. 대표적인 예로 HR 지식 저장소를 기반으로 HR 관련 질문에 답하는 AI 또는 LLM 기반 챗봇이 있습니다. 고객이나 기업의 재무 정보를 분석하고, 이를 집계하고 요약해 신용 분석가에게 제시하는 신용 평가 도구도 있습니다. 이 경우 의사결정을 하는 것은 기계나 AI가 아닙니다. 실제 결정은 사람이 합니다.”
Ritcey는 이러한 사례에서 AI 이니셔티브가 실제 가치를 창출하는지를 좌우하는 공통된 기본 원칙을 발견합니다. 조직은 먼저 문제를 명확히 정의해야 합니다. 그런 다음 AI 이니셔티브가 직원들이 실제 업무에서 제대로 활용할 수 있는 형태로 자리 잡도록 필요한 구조를 갖춰야 합니다.
이 원칙은 조직이 생성형 AI 실험 단계를 넘어 프로덕션 시스템과 에이전트 기반 AI로 이동할수록 더욱 중요해집니다. Ritcey는 지금 당장 가장 큰 기회를 좇아야 한다는 압박에 휩쓸리지 않고, 확장에 필요한 역량을 먼저 구축해야 한다고 조언합니다.
Ritcey의 말처럼 “뛰기 전에 먼저 기는 법부터 배워야 합니다.” 엔터프라이즈 AI에는 대규모 비즈니스 혁신에 요구되는 것과 같은 수준의 엄격한 관리와 실행이 필요하며, 출력 결과를 예측하기 어려운 시스템을 다루기 위한 추가적인 거버넌스 체계도 필요합니다. 이러한 준비와 실행은 단기간에 이루어질 수 없습니다.
3. 누구나 소프트웨어를 만들 수 있다면 통제 기준은 필수입니다
생성형 AI는 소프트웨어 개발의 진입 장벽을 크게 낮추고 있습니다. 이제는 전통적인 코딩 경험이 거의 없는 사람도 아이디어를 실제로 작동하는 애플리케이션으로 구현할 수 있습니다. 하지만 Empromptu AI의 공동 창립자 Shanea Leven은 빠르게 개발할 수 있는 능력이 커질수록 해당 애플리케이션을 프로덕션 환경에 배포하는 방식도 더욱 중요해진다고 말합니다.
Leven은 “프로덕션 앱을 만드는 것은 충분히 가능합니다. 다만 자신이 무엇을 하고 있는지 알아야 합니다”라고 말했습니다.
문제는 애플리케이션 주변의 인프라입니다. Leven은 이렇게 질문했습니다. “생성형 애플리케이션을 만드는 데 생성형 애플리케이션 인프라 안에 드리프트나 엣지 케이스 탐지 같은 AI 기능이 없다면 어떨까요? 입력값이 어떻게 작동하는지 모니터링하고 있나요? 올바른 입력값이 들어가고 있나요? 이런 것들이 모두 갖춰져 있지 않으면 환각이 발생하기 시작합니다.”
반대로 이러한 인프라가 마련되어 있다면 AI는 소프트웨어 개발에 참여할 수 있는 사람의 범위를 넓힐 수 있습니다. 가상의 인물을 예로 들어 설명해 보겠습니다.
Leven은 “회계팀의 Debbie는 회계 분야의 전문가입니다”라고 가정합니다. “Debbie의 업무 환경에 앱이나 워크플로우를 도입한다면 출력 결과가 어떤 모습이어야 하는지, 어떤 통제 기준이 필요한지를 가장 잘 아는 사람은 Debbie입니다.”
Leven은 AI를 활용해 소프트웨어를 만들 수 있게 된 이들을 “새롭게 기술 역량을 갖추게 된 사람들”이라고 표현합니다. 그녀는 더 많은 직원이 소프트웨어를 만들 수 있게 된 만큼 이들이 전통적으로 소프트웨어 엔지니어와 제품 관리자에게 요구되던 사고방식의 일부를 익힐 수 있도록 조직 차원에서 지원해야 한다고 믿습니다.
소프트웨어 개발에 대한 접근성이 확대되면 조직 전반의 값진 전문 지식을 효과적으로 활용할 수 있습니다. 그러나 접근성이 높아질수록 공통 인프라와 교육의 중요성도 커집니다. 더 많은 직원에게 개발 역량을 제공하려면, 조직은 책임 있는 개발을 위한 통제 기준도 함께 마련해야 합니다.
AI의 잠재력을 비즈니스 가치로 전환하기
AI는 점점 성숙해지고 있으며, 성공 여부는 조직이 이 기술을 어떻게 활용하느냐에 더욱 크게 좌우되고 있습니다. 이번 달 Ritcey, Puri, Leven은 AI의 잠재력을 의미 있는 엔터프라이즈 가치로 전환하기 위해 무엇이 필요한지 살펴보았습니다. 이들의 관점은 AI를 통해 의미 있는 비즈니스 가치를 실현하려면 더 신중하고 의도적인 접근이 필요하다는 점을 보여줍니다.
The AI Forecast *의 이번 에피소드와 더 많은 콘텐츠를 *Spotify, Apple Podcasts, YouTube에서 들어보세요.
