Cloudera Container Service 소개: 쉽고 안전하며 비용 효율적인 컨테이너 관리
Cloudera Container Service는 Compute Cluster를 대체하는 업그레이드된 Kubernetes 플랫폼입니다. 향상된 기능 덕분에 라이프사이클 관리가 한층 간단해지고, 보안이 기본 제공되며, 멀티 클라우드 환경에서 비용 효율적인 워크로드 운영이 가능해졌습니다.
Cloudera Container Service를 사용하면 인프라 복잡성에 신경 쓰는 대신 혁신에 집중할 수 있으며, 멀티 클라우드 환경에서도 Kubernetes 배포를 안전하고 확장 가능하며 비용 효율적으로 관리할 수 있습니다.
Kubernetes는 장애물이 아니라 기업 혁신을 가능하게 하는 도구여야 합니다.”라고 Cloudera 제품 관리 부문 부사장 Karthik Krishnamoorthy는 말합니다. “이번 개선을 통해 Cloudera는 기업에게 기본 제공 보안을 보장하는 동시에 Kubernetes를 보다 효율적으로 관리하고, 클라우드 비용을 절감하며, 강력한 AI 및 데이터 기반 애플리케이션을 도입할 수 있는 도구를 제공하게 되었습니다.”
그림 1: Cloudera Container Service 아키텍처
간소화된 Kubernetes 라이프사이클 관리
Cloudera는 Kubernetes와 부가 서비스를 다양한 환경에서 보다 쉽게 운영할 수 있도록 지속적으로 투자하고 있습니다. Cloudera Container Service를 이용하면 직관적인 UI를 통해 Kubernetes 클러스터를 손쉽게 배포할 수 있습니다. 향후 로드맵에서는 Cloudera가 관리하는 모든 클러스터 환경 전반으로 통합 라이프사이클 관리 기능을 확장해 엔터프라이즈 관리자가 단일 UI에서 라이프사이클 업데이트를 일관되게 관리할 수 있도록 할 계획입니다.
기본 제공 보안 및 규정 준수
Cloudera Container Service는 기본 제공되는 다양한 보안 기능을 통해 Kubernetes 배포를 첫날부터 안전하게 보호합니다. 따라서 기업은 위험을 줄이면서도 보다 빠르게 서비스를 도입하고 운영할 수 있습니다. 주요 기능은 다음과 같습니다.
- Istio 서비스 메시: 사용자가 Istio를 별도로 설치하거나 구성할 필요 없이 마이크로서비스 간 통신을 안전하고 인증된 방식으로 보호합니다.
- Knox 게이트웨이(Istio 외부 인증 제공자 역할): Istio의 기본 보안 프레임워크를 유지하면서 외부 서비스에 대해 엔터프라이즈 수준의 인증 및 접근 제어 기능을 제공합니다.
- Calico: 파드 간 안전한 통신을 구현하는 세분화된 트래픽 제어를 통해 네트워크 정책을 적용함으로써 워크로드를 격리하고 규정 준수 요구 사항을 충족합니다.
- 프라이빗 클러스터 지원: 액세스를 고객의 클라우드 네트워크 내부로 제한하여 워크로드를 공용 인터넷과 분리하고 복잡한 네트워크 정책 구성의 필요성을 줄입니다.
- IMDSv2(인스턴스 메타데이터 서비스 v2): 세션 기반 토큰을 사용해 AWS 인스턴스 메타데이터에 대한 액세스를 보호하고, 위험을 완화하며, 클라우드 워크로드 보안을 강화합니다.
- 비투명 프록시 지원: 각 데이터 서비스마다 프록시를 수동으로 설정하지 않아도 Kubernetes 클러스터의 아웃바운드 트래픽을 안전하고 감사 가능한 방식으로 관리할 수 있도록 지원합니다.
스마트하고 비용 최적화된 워크로드 관리
“2026년까지 클라우드 기반 워크로드의 실시간 비용 및 성능 최적화를 수행하는 조직은 2022년 20% 미만에서 50%로 증가할 것입니다.” - Gartner(™), Evolve Service Management and Cloud Operations
이러한 인사이트는 기업들이 클라우드 기술을 적극 활용하는 동시에 비용을 효과적으로 관리하기 위해 클라우드 비용 최적화에 점점 더 집중하고 있음을 보여줍니다.
Cloudera는 기업이 비용 절감 메커니즘을 직접 제어할 수 있도록 지원함으로써 Kubernetes 기반 워크로드의 유연성을 유지하면서도 실제로 사용하는 리소스에 대해서만 비용을 지불할 수 있도록 합니다.
Cloudera의 최신 기능 개선 사항은 성능을 유지하면서도 비용 지출을 최적화할 수 있도록 다양한 방식을 제공합니다. 주요 내용은 다음과 같습니다.
AWS Graviton 지원: ARM 기반 인스턴스를 활용한 비용 효율적인 컴퓨팅을 통해 클라우드 비용과 에너지 소비를 줄입니다. 또한 멀티 아키텍처 컨테이너 이미지를 구축하여 "한 번 빌드하면 어디서나 배포 가능한” 방식을 구현할 수 있습니다.
클러스터 일시 중지 및 재개: 기업은 사용하지 않는 동안 워크로드를 일시 중지했다가 필요 시 다시 재개할 수 있으므로 불필요한 인프라 비용 발생을 줄일 수 있습니다.
공유 데이터 서비스: 여러 데이터 서비스가 동일한 인프라를 공동으로 활용할 수 있도록 지원하여 리소스를 최적화합니다. 이를 통해 중복을 줄이고 효율성을 향상할 수 있습니다.
Apache YuniKorn: 빈 패킹, 계층적 할당량 관리, 갱 스케줄링 등의 향상된 워크로드 배치 및 스케줄링 기법을 지원하는 지능형 리소스 스케줄러를 통해 클러스터 밀도를 높이고 운영 비용을 낮추며 성능을 개선합니다.
레벨 업: NVIDIA 가속 컴퓨팅이 적용된 Cloudera AI Inference Service
Cloudera AI Inference Service는 Cloudera의 고도화된 Kubernetes 플랫폼에 가장 먼저 온보딩된 데이터 서비스입니다. Cloudera Container Service를 활용하면 AI 워크로드를 개발 단계에서 프로덕션 환경까지 그 어느 때보다 빠르고 안전하며 비용 효율적으로 이전할 수 있습니다.
Cloudera Container Service는 다음과 같은 핵심 기능을 통해 AI 추론을 효과적으로 지원합니다.
최적화된 성능: NVIDIA 가속 컴퓨팅을 효율적으로 스케줄링하고 오케스트레이션하여 과도한 리소스 프로비저닝 없이도 AI 워크로드가 필요한 컴퓨팅 성능을 할당받도록 합니다.
엔터프라이즈급 보안: AI 워크로드는 Cloudera의 안전하고 엔터프라이즈 환경에 적합한 플랫폼 내에서 운영되어 데이터 거버넌스와 규정 준수를 보장합니다.
자동화된 인프라 관리: 클러스터 확장, 보안 정책 적용, 워크로드 격리와 같은 인프라 운영을 플랫폼이 자동으로 처리하므로 데이터 과학자와 AI 엔지니어가 인프라 관리 대신 모델 최적화에 집중할 수 있습니다.
AI, 분석, 그 이상을 지원하는 미래형 Kubernetes
실시간 데이터 스트리밍부터 대규모 분석, 차세대 엔터프라이즈 애플리케이션에 이르기까지 다양한 워크로드를 지원하고자 하는 Cloudera의 폭넓은 비전을 반영한 이번 개선 사항은 AI 중심 전략을 채택한 조직에 커다란 가치를 제공합니다.
Cloudera는 Kubernetes를 기반으로 오늘날의 인프라 문제를 해결하고 조직이 미래의 혁신에 대비할 수 있도록 돕습니다.
더 자세한 내용을 확인하고 앞으로의 변화 방향을 가늠해 보고 싶으신가요?
