최근 한 클라우드 하이퍼스케일러에서 발생한 글로벌 IT 장애는 기술 환경에서의 보편적인 사실을 다시 한번 상기시켰습니다. 규모와 관계없이, 다운타임과 서비스 중단은 완전히 피할 수 없다는 점입니다. 이번 장애는 소매, 금융, 헬스케어 등 다양한 산업 전반에 광범위한 영향을 미쳤지만, 이는 특정 벤더나 단일 클라우드에 국한된 실패가 아니었습니다. 오히려 어떤 클라우드 제공자든, 어떤 리전이든 장애는 발생할 수 있다는 점을 분명히 보여준 사례였습니다.
여기서 얻을 수 있는 핵심 교훈은 명확합니다. 조직은 변화가 상시적으로 발생하는 환경 속에서도 적응하고 지속적으로 운영될 수 있는 복원력 있는 데이터 아키텍처를 구축함으로써 주도권을 확보할 수 있으며, 또 반드시 그렇게 해야 합니다. 이 블로그에서는 Cloudera *의 이식 가능한 아키텍처와 원활한 장애 조치 및 복구를 지원하는 도구를 통해 어떻게 비즈니스 연속성을 확보할 수 있는지 살펴봅니다. Cloudera는 클라우드, 데이터 센터, 엣지 등 모든 환경에서 데이터를 기반으로 AI를 구현하는 유일한 데이터 및 AI 플랫폼 기업입니다.
복원력 있는 아키텍처 설계란?
데이터 복원력이란 데이터 관련 장애나 실패가 발생하더라도 이를 견뎌내고, 신속하게 복구하며, 그 영향을 최소화할 수 있는 조직의 역량을 의미합니다. 이는 단순한 백업이나 재해 복구를 넘어서는 선제적인 비즈니스 연속성 접근 방식으로, 핵심 데이터가 항상 다음과 같은 상태를 유지하도록 하는 것을 목표로 합니다.
가용성: 필요 시 사용자와 애플리케이션이 데이터에 액세스할 수 있도록 보장(복구 시점 목표(RTO) 최소화)
온전성/정확성(데이터 무결성): 데이터를 손상되거나 변조되지 않은 상태로 유지(복구 시점 목표(RPO) 최소화)
보안성: 무단 액세스, 손실 또는 탈취로부터 데이터 보호
진정한 복원력을 위한 아키텍처 설계는 서로 긴밀히 연결된 두 가지 핵심 축을 기반으로 합니다. 하나는 이식성을 가능하게 하는 기술, 다른 하나는 검증된 장애 조치 프로세스입니다.
1. 어디서든 장애 조치 가능하도록 설계: 단일 장애 지점 제거
단일 제공자, 단일 클라우드, 혹은 단일 클라우드 리전에 의존하는 구조는 중대한 비즈니스 취약점, 즉 단일 장애 지점을 형성합니다. 장애는 하드웨어 고장, 소프트웨어 문제, 인적 오류, 자연재해, 사이버 공격 등 다양한 원인으로 발생할 수 있습니다. 복원력의 목표는 어느 한 환경이 중단되더라도 운영이 다른 환경에서 자동적으로 원활하게 이어지도록 보장하는 것입니다.
이를 위해서는 클라우드 리전 간, 클라우드 제공자 간은 물론 필요 시 데이터 센터 환경으로까지 자유롭게 장애 조치를 수행할 수 있어야 합니다. 초기 장애가 발생한 위치와 관계없이 비즈니스 운영은 지속되어야 하며, 핵심 시스템은 항상 중단 없이 가동 상태를 유지해야 합니다.
2. 복원력을 위한 검증된 계획 수립
기술은 복원력을 구현하는 역량을 제공하지만, 비즈니스 연속성을 실제로 보장하는 것은 프로세스입니다. 재해 복구 계획은 한 번 수립되고 나면, 인력과 기술 환경이 변화함에도 불구하고 거의 재검토되지 않는 경우가 많습니다. 충분히 검증된 계획이란 문서화되어 있고, 실제 상황을 가정해 반복적으로 훈련되며, 장애 발생 시 조직이 실행할 수 있도록 정기적으로 재검토되는 계획을 의미합니다. 이러한 계획에는 다음과 같은 요소가 포함됩니다.
워크로드의 우선순위 설정: 소매 산업의 거래 처리, 헬스케어 분야의 원격 모니터링과 같이 미션 크리티컬한 업무가 가장 낮은 서비스 수준 목표(SLA) 기준의 복구 시간 목표(RTO)와 복구 시점 목표(RPO)를 적용받도록 보장
중복성과 고가용성 확보: 환경 간 장애 조치 역량을 구축하여 장애 발생 시에도 운영을 지속할 수 있도록 보장
백업* : 핵심 데이터와 메타데이터를 백업하고, 이에 대한 보존 정책과 거버넌스 체계를 수립
Cloudera가 조직의 복원력 중심 아키텍처 설계를 지원하는 방법
Cloudera는 데이터가 존재하는 모든 위치에서 일관된 클라우드 경험을 제공하는 유일한 데이터 및 AI 플랫폼 제공업체입니다. 이를 통해 기업은 마찰이나 벤더 종속 없이 클라우드와 데이터 센터 간에 데이터와 AI 워크로드를 자유롭게 이동할 수 있으며, 특정 인프라에 얽매이지 않는 유연한 운영이 가능합니다. 그 결과 조직은 Cloudera를 기반으로 복원력을 고려한 아키텍처를 설계함으로써 데이터가 어디에 있든 일관된 운영과 규정 준수를 유지하면서 비즈니스 리스크를 줄일 수 있습니다.
Cloudera 플랫폼은 다음과 같은 솔루션과 서비스를 통해 고가용성과 재해 대응 역량을 지원합니다.
이식 가능한 데이터 서비스: Cloudera 플랫폼은 클라우드 네이티브 데이터 서비스와 데이터 레이크를 포함하며, Kubernetes를 기반으로 퍼블릭 클라우드(AWS, Azure, Google Cloud)와 온프레미스 환경 전반에서 일관되게 운영됩니다. 하부 인프라로부터의 독립성을 통해 고객은 서로 다른 클라우드와 온프레미스 자원을 조합해 다양한 가용 사이트를 구성할 수 있으며, 그 결과 단일 플랫폼이나 벤더에 대한 의존도를 크게 낮출 수 있습니다.
실시간 이동 데이터: Cloudera Data Flow, Cloudera Streaming Analytics, Cloudera Streams Messaging을 통해 고객은 어디서든 데이터를 실시간으로 수집, 처리, 배포할 수 있습니다. 사기 탐지나 네트워크 모니터링과 같은 미션 크리티컬 실시간 워크로드의 경우, 장애 가능성은 중대한 비즈니스 영향을 초래할 수 있습니다. Cloudera는 이러한 서비스가 항상 높은 가용성을 유지하고 환경 간 복제가 가능하도록 지원합니다.
Replication Manager: Cloudera의 핵심 구성 요소인 Replication Manager는 백업과 복구를 단순화된 방식으로 지원합니다. 이 구성 요소는 데이터뿐 아니라 해당 데이터에 연결된 메타데이터, 핵심 보안 및 거버넌스 정책까지 함께 복제합니다. 이를 통해 손쉬운 마이그레이션과 지속적인 동기화가 가능해지며, 무엇보다도 데이터 손실을 최소화한 상태에서 보조 복제 환경을 주 운영 환경과 함께 신속히 승격시켜 장애 조치를 수행할 수 있습니다.
개방형 데이터 레이크하우스: Cloudera의 개방형 데이터 레이크하우스는 ‘한 번 작성하고 어디서나 실행(write once, run anywhere)’하는 접근 방식을 기반으로 보안이 강화된 데이터 관리와 이식 가능한 클라우드 네이티브 분석을 제공합니다. 이를 통해 서로 다른 인프라 간 이동 시 애플리케이션이나 워크로드를 재설계하는 데 수반되는 시간과 비용을 제거할 수 있습니다.
그림 1. Cloudera는 AI를 어디서나 실행할 수 있도록 모든 환경에서 일관된 클라우드 경험을 제공합니다
이러한 역량을 통해 Cloudera 고객은 미션 크리티컬 데이터 및 AI 워크로드를 신뢰할 수 있는 환경에서 운영할 수 있으며, 인프라 수준의 장애가 발생하더라도 핵심 비즈니스 프로세스의 다운타임과 데이터 손실을 거의 제로에 가깝게 유지할 수 있습니다.
지정학적 불안정성 속에서 AM-BITS가 복원력을 설계한 방법
많은 기업에게 최근의 장애는 일시적인 사건에 불과했습니다. 그러나 그 혼란이 전쟁과 같은 실질적인 재난이었다면 상황은 전혀 달라졌을 것입니다. 우크라이나에 기반을 둔 은행, 통신, 소매 부문 IT 솔루션 제공업체인 AM-BITS는 지정학적 혼란으로 인해 조직들이 온프레미스 시스템에서 클라우드로의 전환을 급격히 가속화해야 하는 상황 속에서 고객의 미션 크리티컬 데이터를 신속히 보호하고 이전해야 하는 긴급한 과제에 떠안게 되었습니다. 클라우드 마이그레이션은 일반적으로 6개월 이상이 소요되지만, 이는 많은 기업에게 감당하기 힘든 일정이었습니다.
이러한 연속성 위기에 대응하기 위해 AM-BITS는 Cloudera를 기반으로 한 현대적인 멀티 테넌트 데이터 및 AI 플랫폼을 구축했습니다. AM-BITS는 Cloudera Shared Data Experience(Cloudera SDX)를 활용해 고객의 데이터 자산을 위한 ‘기술적 안전지대’를 신속히 제공했으며, 안전한 클라우드 데이터 이전에 소요되는 시간을 50%까지 대폭 단축했습니다. Cloudera는 모든 환경에서 일관되게 작동하기 때문에, AM-BITS의 고객은 진정한 유연성을 확보할 수 있었습니다. 즉, 데이터를 신속하게 클라우드로 이전하는 동시에 필요에 따라 다른 클라우드로 이동하거나 데이터를 다시 온프레미스 환경으로 복귀시킬 수 있는 선택권을 유지할 수 있었습니다. AM-BITS는 Cloudera를 활용해 데이터 이식성을 비즈니스 연속성을 뒷받침하는 강력한 수단으로 전환했습니다.
다음 단계
데이터 관련 장애와 중단은 하드웨어 장애, 소프트웨어 문제, 인적 오류, 자연재해, 사이버 공격 등 다양한 원인으로 발생할 수 있습니다. 조직은 이러한 잠재적 장애 지점을 사전에 고려해 시스템을 설계하고, IT 시스템과 데이터를 신속하고 중대한 운영 중단 없이 복구할 수 있는 계획을 반드시 마련해야 합니다.
Cloudera와 함께 복원력을 고려한 아키텍처를 설계하는 방법에 대해 더 알아보려면 재해 복구 체크리스트와 관련 자료를 확인하거나 복원력 계획 수립을 지원하는 Cloudera 전문 서비스 팀에 문의하시기 바랍니다.
