연쇄 창업가인 Adam Skotnicky가 조직에 꼭 경고하고 싶은 한 가지가 있다면 그것은 바로 데이터 복잡성입니다. Cloudera의 엔지니어링 부문 부사장이자 tcp.cloud와 Taikun(최근 Cloudera가 인수)의 창업자인 Adam은 복잡한 데이터 구조에 얽매이지 않고 기술 업계의 새로운 기회를 실질적으로 활용하는 데 능숙한 인물입니다.
The AI Forecast Podcast의 진행자인 Paul Muller와 Adam은 엔지니어링 팀이 유연성과 통제력을 유지하면서도 어떻게 다시 단순한 운영 방식으로 돌아갈 수 있는지 논의합니다. 또한 IT 팀이 다양한 도구와 운영 문제로 부담을 느끼는 이유, 플랫폼 엔지니어링이 사용자 경험을 어떻게 개선할 수 있는지, 그리고 하이브리드 환경에서 클라우드 수준의 민첩성을 확보한다는 것이 실제로 무엇을 의미하는지에 대해서도 심도 있게 다룹니다.
다음은 대담의 주요 내용을 정리한 것입니다.
과도한 엔지니어링의 함정
Paul: 오늘날 조직들은 멀티 클라우드, 온프레미스, 하이브리드 환경 전반에 걸쳐 데이터를 관리하고 있습니다. 이런 복잡성 속에서 가장 큰 과제는 무엇이라고 보십니까?
Adam: 핵심은 결국 무엇을 만들고자 하는지 그 본질적인 가치에 집중해야 한다는 점입니다.
처음부터 모든 것을 다 하려 들면 해결책이 과도하게 복잡해질 수 있습니다. 모든 기능을 다 갖출 필요는 없습니다. 엔지니어들은 마치 사탕 가게에 들어간 것 같은 기분을 느낍니다. 눈이 돌아가죠. 한동안은 신이 나서 몰입하게 되지만 그 뒤에는 큰 후폭풍이 따라옵니다. 딱 그런 상황에 비유할 수 있겠네요.
워크로드 중심의 미래와 보이지 않는 인프라
Paul: 데이터 센터에서도 클라우드처럼 사용할 수 있는 환경을 만들고자 한 계기는 무엇이었습니까? 많은 기술 담당자들이 보기에 하이브리드가 늘 안고 있던 한계는 분명합니다. 온프레미스 환경에도 어느 정도 자동화는 적용할 수 있지만 퍼블릭 클라우드 서비스처럼 매끄럽고 단순한 경험과는 거리가 멉니다. 퍼블릭 클라우드는 막대한 엔지니어링 투자를 통해 마치 카탈로그를 고르듯 쉽게 사용할 수 있도록 만들어졌기 때문입니다. 과거에는 그런 타협이 불가피했다고 보십니까? 그리고 Taikun에서는 이를 어떻게 해결하셨습니까?
Adam: 클라우드와 유사한 환경을 구축하려면 결국 사람의 개입이 없는 프로세스를 구현하는 것이 핵심입니다. 애플리케이션을 사용하기 위해 티켓을 발급 받거나 담당자 승인을 받아야 한다면 클라우드 경험이라고 보기 어렵습니다. 사용자는 로그인해 카탈로그에서 바로 배포할 수 있어야 합니다. 그것이 궁극적인 목표입니다. 그 이후에는 사람이 직접 개입하지 않습니다. 시스템이 정상적으로 작동하는지 확인하고 성능과 보안을 유지하는 역할만 수행합니다. 이 모든 과정이 사용자의 개입이나 추가 요청 없이 자동으로 이루어지며, 이것이 바로 퍼블릭 클라우드의 방식입니다. 이것이 바로 우리가 말하는 클라우드와 같은 환경입니다.
Paul: 이러한 대규모 데이터 워크로드를 배포하는 것과 관련해 시장에서는 어떤 움직임이 나타나고 있다고 보십니까? 셀프서비스 기반의 유연한 클라우드 환경은 팀이 인프라가 아니라 인사이트에 집중하는 데 어떤 도움을 준다고 보십니까?
Adam: 저는 이 문제의 핵심은 결국 워크로드이며, 오직 워크로드에만 집중해야 한다는 데 전적으로 동의합니다. 핵심은 인프라가 아니며, 그래서 누구도 인프라를 건드리지 않도록 하는 것이 중요합니다. 인프라는 완전히 추상화되어야 합니다. 물론 필요하다면 내부를 들여다보고 이것저것 직접 조정해 볼 수는 있습니다. 그렇게 직접 살펴보고 탐색해 볼 수는 있지만 운영 환경에서는 인프라를 건드려서는 안 됩니다. 모범 사례를 따라야 합니다. 그래야 비로소 워크로드에 집중할 수 있고, 다시 그 아래 인프라 계층까지 파고들 필요도 없어집니다. 인프라는 그저 뒤에서 동작하면 됩니다. 이것이 Taikun이 지향하는 방식입니다. 우리는 워크로드에 집중합니다.
단일 플랫폼과 다양한 환경
Paul: 사람들이 Cloudera 플랫폼과 같은 환경을 배포하기 시작하면 이 새로운 작업 방식에서 어떤 차이를 가장 먼저 체감하게 될까요?
Adam: 우리는 이제 Cloudera 서비스의 추상화 계층 역할을 합니다. 따라서 Cloudera 서비스는 특정 환경에 종속되지 않으며, 퍼블릭 클라우드든 프라이빗 클라우드든, 몇 대의 서버든 수백 대 수천 대의 서버든 동일한 사용 경험으로 실행할 수 있습니다. 사용자는 원하는 만큼 서비스를 실행할 수 있고 다양한 엔드포인트에 연결할 수 있으며 필요에 따라 조합하고 설정할 수 있습니다. 이것은 퍼블릭 클라우드와 하이브리드 클라우드 사이의 양자택일 문제가 아닙니다. 두 가지를 함께 사용할 수 있습니다. 예를 들어 데이터 주권 문제로 운영 환경은 온프레미스에서 확장 운영하고, 새로운 기술은 퍼블릭 클라우드에서 시험해 볼 수 있습니다. 퍼블릭 클라우드에서는 몇 분 만에 0에서 100까지 확장하거나 다시 줄일 수 있기 때문입니다. 이 두 접근 방식을 조합해 사용할 수 있습니다.
Paul: 놀랍군요. 이 새로운 환경에 대비하려면 사람들은 무엇부터 준비해야 할까요? 이것이 단순히 기술만 도입하면 바로 해결되는 문제인지 아니면 사람들의 생각을 바꾸는 것이 더 중요한지 궁금합니다. 하이브리드를 제대로 활용하려면 어떤 준비가 필요합니까?
Adam: 접근 방식은 선택할 수 있습니다. 제가 선호하는 ‘골든 팟(golden pot)’이라는 접근 방식을 선택할 수도 있습니다. 모든 기능이 내장되어 있기 때문에 한 가지 방식만 선택할 수도 있고 다른 방식이나 그 중간을 선택할 수도 있습니다. 기존의 가상 머신 환경을 그대로 유지하면서 새로운 환경과 병행해 운영하는 것도 가능합니다. 이미 갖춰진 구조와 프로세스 안에는 방대한 노하우가 녹아 있습니다. 두 접근 방식은 앞으로도 모두 함께 존재할 것입니다. 그리고 Cloudera 제품에서는 사용자가 이 새로운 환경을 직접 의식하지 않더라도 관련 기능이 기본적으로 내장되어 있습니다.
Adam Skotnicky와의 전체 대담은 Spotify, Apple Podcasts 및 YouTube에서 The AI Forecast를 통해 확인할 수 있습니다.
