Apache Slider
Hadoop에서 오래 실행된 YARN 기반 애플리케이션용 프레임워크
Apache™ Hadoop은 데이터 플랫폼 내에서 실행할 새로운 엔진을 지속적으로 유치하며, 이는 조직이 데이터를 단일 리포지토리에 효율적으로 저장하고 해당 데이터와 다양한 방식으로 동시에 상호 작용해야 하기 때문입니다. 기업은 기존 배치 프로세싱과 함께 SQL, 스트리밍, 머신러닝 등 모든 것을 동일한 클러스터에서 실행하고자 합니다. 이 애플리케이션 중 다수는 데이터가 들어올 때마다 데이터를 즉시 처리할 수 있는 "항상 사용" 또는 "장기 실행" 서비스여야 합니다.
Slider는 Apache HBase, Apache Accumulo 및 Apache Storm과 같은 이 장기 실행 서비스를 YARN으로 "슬라이드"하여 필요한 것보다 더 많은 처리 리소스를 묶어두지 않고도 변화에 따른 데이터량을 처리할 수 있을만큼 충분한 리소스를 확보할 수 있습니다.
Slider가 수행하는 작업
Slider는 Hadoop에서 장기 실행되는 이 데이터 액세스 애플리케이션의 배포 및 관리를 위한 프레임워크입니다.
Slider는 YARN의 리소스 관리 기능을 활용하여 애플리케이션을 배포하고, 수명 주기를 관리하며, 애플리케이션이 실행되는 동안에도 이 애플리케이션을 확장 또는 축소합니다. Slider는 Apache HBase, Apache Accumulo 및 Apache Storm과 같은 이 장기 실행 서비스를 YARN으로 "슬라이드"하여 필요한 것보다 더 많은 처리 리소스를 묶어두지 않고도 변화에 따른 데이터량을 처리할 수 있을만큼 충분한 리소스를 확보할 수 있습니다.
Apache Slider를 사용하면 다양한 버전의 이기종 장기 실행 애플리케이션을 YARN을 통해 Hadoop에서 생성하고 실행할 수 있습니다. 각 애플리케이션 인스턴스를 다르게 구성할 수 있으며, 운영 수명 주기는 개별적으로 관리됩니다. Slider는 온디맨드 방식으로 실행 중인 애플리케이션 인스턴스를 확장하거나 축소할 수 있습니다. 컨테이너에 오류가 발생하면 Slider는 YARN 시설을 투명하게 활용하여 애플리케이션 복구를 관리합니다. 이 모든 기능은 Linux 또는 Windows 플랫폼에서 사용할 수 있습니다.
이 Apache Slider 기능은 Hadoop을 실행하는 기업에 다음 세 가지 주요 이점을 제공합니다.
| Benefit | Description |
|---|---|
| Turnkey YARN enablement | Enables long-running applications to take advantage of YARN’s benefits without code changes:
|
| Hadoop integration | Applications running with Apache Slider cooperate with the Enterprise Hadoop ecosystem in an integrated way--leveraging Hadoop’s data and processing resources, as well as its security, governance, and operations capabilities |
| Lifecycle management | Automatically makes applications manageable through Apache Ambari without any additional work |
Slider 작동 원리
Apache Slider는 모든 애플리케이션을 구성요소 세트로 보며 각 구성요소는 자체 구성, 스크립트 및 데이터 파일이 있는 데몬 또는 실행 파일입니다. 구성요소에는 하나 이상의 인스턴스가 있을 수 있습니다. Slider는 해당 구성요소 인스턴스를 관리함으로써 애플리케이션을 관리합니다.
Slider는 애플리케이션 구성요소 인스턴스를 관리하기 위해 각 인스턴스별로 YARN 애플리케이션 마스터를 시작합니다. 애플리케이션 마스터를 실행한 후 리소스를 할당하거나 할당을 취소하고 애플리케이션 인스턴스를 중지하거나 시작할 수 있습니다. 이 작업은 Slider 클라이언트를 통해서나 YARN의 리소스 스케줄링 선점을 통해 애플리케이션 관리자의 요청에 따라 수행될 수 있습니다.