생성형 AI는 조직이 일하는 방식을 바꾸고 있습니다. 그러나 모델 배포만으로 일이 끝나는 것은 아닙니다. 기업이 실험을 넘어 실행으로 나아가려면 실제 비즈니스 운영 방식에 부합하면서도 일관되게 판단하는 AI가 필요합니다.
The AI Forecast의 새 에피소드 ‘의사결정 로직: 엔터프라이즈 AI가 놓치고 있는 계층(Decision Logic: The Missing Layer in Enterprise AI)’에서는 Duczer East의 혁신 책임자 Darlene Newman이 진행자 Paul Muller와 대담을 나눕니다. Newman은 엔터프라이즈 AI가 데이터와 프롬프트만으로는 신뢰할 수 있는 결과를 낼 수 없는 이유를 설명합니다. AI와 디지털 전환을 이끌어 온 Newman은 직원들이 매일 판단에 활용하는 지식을 명확히 정리하고, AI도 이러한 지식을 활용할 수 있게 해야 한다고 설명합니다.
의사결정 로직이 엔터프라이즈 AI의 핵심 기반이 될 수 있는 이유를 살펴보겠습니다.
의사결정 로직이란?
Paul: 의사결정 로직에 대해 이야기해 보겠습니다. 처음 이 주제를 봤을 때는 사실 잘 모르면서도 아는 것처럼 고개를 끄덕이고 싶었습니다. 잠시 살펴봤지만 의사결정 로직이 하나의 전문 분야로서 무엇을 의미하는지 전혀 모르겠더군요. 설명 좀 부탁드립니다. 의사결정 로직이란 무엇이며, 왜 관심을 가져야 할까요?
Darlene: LLM은 놀라운 결과를 생성하지만, 근본적인 원리는 인터넷에서 수집한 텍스트로 학습한 패턴을 바탕으로 결과를 생성하는 것입니다. 진정한 지능이라고 말할 수는 없지만 우리가 매일 일하는 방식을 바꿀 것입니다. LLM이 필요한 내용을 알고 타당한 결과를 내놓으려면 내용을 제대로 이해할 수 있도록 도와야 합니다.
저는 계약 관리 업무를 오래 했는데, LLM을 활용하기에 정말 좋은 분야라고 생각합니다. 계약에 자동 갱신 조항이 있는지 확인한다고 가정해 보겠습니다. ‘갱신할 수 있다’, ‘갱신한다’, ‘자동 갱신’, ‘묵시적 갱신’처럼 다양한 표현이 쓰일 수 있습니다. 모두 같은 의미일 수도 있고요. 누군가 “이 계약은 자동 갱신 계약입니다”라고 말한다면 “왜 그렇게 판단했나요?”라고 질문해야 합니다.
제가 말하는 의사결정 로직이 바로 그것입니다. 어떤 행동을 하는 이유이자, 사람들이 매일 별다른 의식 없이 적용하는 조직 내 암묵지입니다. LLM에도 이 지식을 가르쳐야 합니다. 알려 주지 않으면 LLM이 나름대로 결정할 것이고, 그 결정은 틀릴 수도 있습니다.
엔터프라이즈 AI에 필요한 ‘사서’
Paul: 말씀을 들어 보니 의사결정 로직은 조직 내 암묵지를 포착해 특정 활용 사례에 맞게 시스템에 반영하는 방법이군요. 그러면 사람이 매번 개입할 필요도 줄어들겠네요. 조직이 이러한 역량을 갖추려면 어떤 인재나 역량이 필요한가요?
Darlene: 저는 사서 같은 사람이 필요하다고 말합니다. 정보를 체계적으로 정리하는 사람이죠. 저는 에이전트를 만들려면 두 가지 핵심 역량이 필요하다고 늘 이야기합니다. 비즈니스 프로세스를 이해하는 능력과 데이터를 이해하는 능력입니다. 이 두 가지 역량을 겸비한 사람이 지식 설계를 맡을 수 있습니다. 지식 설계자의 역할은 엔지니어링에만 국한되지 않습니다. 지식 계층을 설계하려면 데이터의 구조와 실제 비즈니스 운영 방식을 모두 이해해야 합니다. 에이전트를 구현하려면 여전히 기술 인력이 필요합니다. 하지만 지식을 설계하려면 비즈니스 전문성과 데이터에 대한 이해를 결합해야 합니다.
기술 분야에서만 경력을 쌓은 사람이 설계를 맡으면 기존 시스템에 있는 내용을 중심으로 용어 체계를 구성하는 경우가 많습니다. “우리는 Collibra를 사용합니다. 모든 필드의 데이터 정의도 있고 데이터 계보도 매핑해 두었습니다”라고 말하죠. 그러면 저는 “그렇다고 통제 어휘를 갖춘 것은 아닙니다”라고 답합니다.
필드 정의가 있다는 것은 좋습니다. 하지만 정말 중요한 질문은 그 개념이 실제로 무엇을 의미하느냐는 것입니다. 개념을 정의했다고 해서 그 의미를 어떻게 해석해야 하는지, AI가 그 개념을 어떻게 식별해야 하는지까지 분명해지는 것은 아닙니다. 한 단계 더 나아가야 합니다. 개념을 정의하고 이해할 때 관계형 데이터 모델에 담긴 내용만 그대로 따라서는 안 됩니다. 시맨틱 계층을 기술적인 시각으로만 정의하면 이런 문제가 생길 수 있습니다.
처음부터 AI에 반영해야 할 의사결정 로직
Paul: 마지막으로 실천에 옮길 수 있는 조언을 부탁드립니다. 저처럼 의사결정 로직이라는 말을 듣고 그저 고개만 끄덕이는 사람은 구체적으로 무엇을 해야 할까요? 이사회와 경영진도 관심을 가져야 하나요? AI 프로젝트에서는 어느 단계부터 의사결정 로직을 논의해야 하나요?
Darlene: 프로젝트를 시작하고 에이전트를 설계하는 순간부터 의사결정 로직을 고려해야 합니다. 에이전트를 설계할 때는 최소한의 요구 사항만 정해 두어서는 안 됩니다. 모든 작업에서 예외 상황이 발생할 수 있으므로, 에이전트가 직접 처리할 상황과 사람에게 넘길 상황을 미리 구분해야 합니다.
저는 항상 프로세스 흐름부터 살펴보라고 이야기합니다. 에이전트에 맞춰 전체 프로세스를 설계하려고 해서는 안 됩니다. 대신 프로세스의 핵심 활동을 찾아야 합니다. 현재 수행하는 업무를 정리한 뒤 이렇게 질문해 보세요. “이 흐름에서 우리가 하는 일은 이렇습니다. 이 중 어떤 일을 에이전트에게 맡기는 것이 가장 적절할까요?” 그런 다음 어떤 테스트가 필요한지, 입력은 무엇인지, 출력은 무엇인지, 어떤 판단을 거쳐 그 출력을 도출하는지 살펴봅니다. 그리고 그 판단 과정을 문서로 정리하기 시작합니다.
문제는 이사회가 아직 시맨틱 계층을 잘 이해하지 못하고, 투자에도 적극적이지 않다는 점입니다. 데이터 레이크와 API는 쉽게 이해하지만, 시맨틱 계층에 대한 이해는 아직 그 수준에 이르지 못했습니다.
그래서 일부 고객에게는 먼저 가치를 입증해야 했습니다. 처음에는 에이전트 하나를 만들었는데 결과가 좋지 않았습니다. 에이전트가 참고할 수 있도록 간단한 통제 어휘를 만들었더니 결과가 좋아졌습니다. 여기에 규칙과 정의를 더해 가면서 사실상 기본적인 시맨틱 계층을 구축한 셈입니다. 지금은 지식 설계와 개방형 표준을 바탕으로 이를 체계화하고 있습니다. 하지만 당시에는 조직이 요청한 작업이 아니었기 때문에 드러내지 않은 채 구축해야 했습니다. 사람들은 보통 이런 식으로 생각하지 않다 보니 이 개념을 쉽게 이해하지 못합니다. 그래서 저는 지식 그래프를 말로 설명하기보다 실제 모습을 보여 주는 편이 더 쉽다는 것을 알게 됐습니다.
Darlene Newman과 나눈 더 자세한 이야기는 Spotify, Apple Podcasts, YouTube에서 The AI Forecast 전체 에피소드를 통해 확인하세요.
