Apache Crunch

 Apache Crunch Java 라이브러리는 MapReduce 파이프라인 작성, 테스트 및 실행을 위한 프레임워크를 제공합니다. 많은 사용자 정의 기능으로 구성된 파이프라인을 간편하게 작성하고 손쉽게 테스트하며 효율적으로 실행하기 위해서입니다.

 Hadoop MapReduce 및 Apache Spark에서 실행되는 Apache Crunch™  라이브러리는 일반 MapReduce에서 구현 시간이 오래 걸리는 가입 및 데이터 집계와 같은 작업을 위한 간편한 Java API입니다. API는 시계열, 직렬화된 개체(예: 프로토콜 버퍼 또는 Avro 레코드), HBase 행 및 열과 같은 관계형 모델에 자연히 들어맞지 않는 데이터를 처리할 때 특히 유용합니다. Scala 사용자를 위해서는 Java API에 구축된 Scrunch API가 있으며 여기에는 MapReduce 파이프라인을 제작을 위한 REPL(read-eval-print loop)이 포함되어 있습니다.

자세히 보기