MapReduce를 위한 컬럼 지향 저장 기법

초록

본 논문은 Hadoop의 기본 텍스트·시퀀스 파일 형식 대신 컬럼 지향 바이너리 포맷을 도입하여 스캔 속도를 3배, 전체 Map 단계 성능을 최대 100배까지 향상시키는 설계와 구현을 제시한다. 복합 타입(배열, 맵, 중첩 레코드)의 직렬·역직렬 비용을 줄이기 위해 스킵리스트 기반 컬럼 포맷과 레이지 레코드 생성 전략을 적용하고, 가벼운 사전 압축을 이용해 CPU 오버헤드를 최소화한다.

상세 분석

이 논문은 Hadoop이 대규모 데이터 처리에서 겪는 병목을 전통적인 병렬 DBMS에서 오랜 기간 연구된 컬럼 지향 저장 기법으로 해결하고자 한다. 첫 번째 실험에서는 텍스트 기반 SequenceFile을 바이너리 포맷으로 교체했을 때 I/O 스캔 속도가 3배 향상되는 것을 확인했으며, 이는 Hadoop이 기본적으로 문자열 파싱과 UTF‑8 디코딩에 소요되는 비용을 크게 줄인 결과이다. 두 번째 단계에서는 각 컬럼을 별도 파일에 저장하면서도 HDFS 복제 정책과 스케줄러가 요구하는 “같은 노드에 컬럼이 공동 배치”되는 문제를 해결하기 위해 ‘Column‑Oriented Fileset (COF)’라는 메타데이터 디렉터리 구조를 설계하였다. COF는 파티션 단위로 컬럼 파일을 묶어 하나의 HDFS 블록에 배치하고, 블록 레벨 복제 시 전체 컬럼 집합이 동일한 노드에 복제되도록 하여 원격 I/O를 최소화한다.

복합 타입 처리에서 가장 큰 비용은 역직렬화와 객체 생성이다. Java 기반 Hadoop은 각 레코드를 Avro·Thrift·Protocol Buffers 등에서 읽어올 때 매번 객체를 생성하고 필드에 접근해야 하므로, 단순 정수형이라도 CPU 사용량이 I/O보다 크게 된다. 이를 해결하기 위해 저자들은 “스킵리스트 컬럼 포맷”을 도입하였다. 스킵리스트는 레코드 레벨에서 필요한 컬럼만을 선택적으로 읽어들일 수 있게 하며, 필요 없는 컬럼은 파일 내 오프셋만 건너뛰어 역직렬화 비용을 0에 가깝게 만든다. 또한 레코드 자체를 “레이지”하게 구성해, 맵 함수가 실제로 접근하는 필드만 메모리로 로드한다. 이 기법은 DBMS에서 흔히 쓰이는 ‘late materialization’과 동일한 원리이며, 실험 결과 1.5배 이상의 추가 속도 향상을 보여준다.

압축 측면에서는 컬럼 단위 데이터가 동일한 값 패턴을 많이 포함하므로 사전(dictionary) 압축이 효과적이다. 기존 Hadoop에서는 LZO가 CPU 오버헤드가 낮아 널리 쓰였지만, 복합 타입에 적용하면 압축률이 떨어진다. 논문에서는 가벼운 사전 압축을 적용해 LZO 대비 압축률은 약간 낮지만 디코딩 비용이 현저히 적어 전체 파이프라인에서 오히려 성능이 개선된다고 주장한다.

전체적인 설계는 Hadoop 코어를 수정하지 않고 InputFormat/OutputFormat 확장점만을 활용한다는 점에서 실용성이 높다. 즉, 기존 MapReduce 프로그램을 그대로 두고도 컬럼 지향 포맷을 지정하면 자동으로 이점이 적용된다. 또한 Avro·Thrift·Protocol Buffers와 같은 기존 직렬화 프레임워크와도 호환되므로, 기업 현장에서 기존 파이프라인을 크게 바꾸지 않고도 도입이 가능하다.

마지막으로 저자들은 실제 기업 인트라넷 크롤링 데이터(수백 GB 규모)를 대상으로 실험을 수행했으며, Map 단계만을 기준으로 최대 100배(두 자릿수) 속도 향상을 기록했다. 이는 단순히 I/O를 줄인 것이 아니라, 복합 타입 역직렬화와 압축/해제 비용을 동시에 최적화한 결과이며, Hadoop 기반 빅데이터 분석 시스템에 컬럼 지향 저장이 제공할 수 있는 잠재적 가치를 명확히 입증한다.