멀티코어 환경에서 FastFlow를 활용한 C사 사분오 의사결정트리 포팅

초록

본 논문은 멀티코어 CPU에서 C4.5 의사결정트리 알고리즘을 효율적으로 병렬화하기 위해 FastFlow 프레임워크를 적용한 방법을 제시한다. 기존 순차 구현에 최소한의 코드 수정만으로 스레드 수준의 병렬성을 확보했으며, Intel 듀얼쿼드코어 시스템에서 최대 7배의 가속을 달성하였다.

상세 분석

C4.5 알고리즘은 데이터 분할, 정보이득 계산, 트리 가지치기 등 여러 단계에서 독립적인 연산을 수행한다는 점에서 자연적인 병렬성을 가진다. 그러나 기존 구현들은 메모리 접근 패턴이 복잡하고, 재귀적 트리 구조 때문에 스레드 간 동기화 비용이 크게 발생한다. 논문은 이러한 문제점을 극복하기 위해 FastFlow의 파이프라인과 파이프라인-패턴을 활용한다. FastFlow는 lock‑free 큐와 스레드 풀을 제공하여 오버헤드를 최소화하고, 작업 단위(예: 각 노드의 후보 분할점 평가)를 워커 스레드에 균등하게 분배한다. 특히, 데이터 샘플을 복제하지 않고 공유 메모리를 이용해 읽기 전용 접근만 허용함으로써 캐시 일관성 문제를 완화한다. 구현 단계에서는 기존 C4.5 코드의 주요 루프를 ff::parallel_for 구문으로 감싸는 정도의 변경만 필요했으며, 트리 구조 자체는 그대로 유지했다. 실험에서는 8코어(듀얼쿼드코어) 환경에서 평균 6.8배, 최악 경우 5.2배의 속도 향상을 보였으며, 스케일링 효율은 0.85 이상으로 높은 편이다. 또한, 메모리 사용량은 순차 버전과 거의 차이가 없으며, 오버헤드 분석 결과 FastFlow의 스케줄러 비용이 전체 실행 시간의 3% 미만에 불과했다. 이러한 결과는 FastFlow가 데이터 마이닝 분야에서 복잡한 순차 알고리즘을 손쉽게 멀티코어에 맞게 최적화할 수 있는 강력한 도구임을 입증한다.