대용량 양방향 de Bruijn 그래프 구축을 위한 효율적 병렬·외부 메모리 알고리즘

**1. 서론 및 배경** 유전체 어셈블리 문제는 짧은 읽기(read)들을 재조합해 원본 DNA 서열을 복원하는 작업이다. 전통적인 오버랩 그래프 방식은 읽기를 정점으로 두어 모든 쌍의 겹침을 탐색하지만, 짧은 읽기가 수백만 개에 달하는 현대 시퀀싱에서는 정점 수와 엣지 수가 급증해 비효율적이다. 이에 반해 de Bruijn 그래프는 k‑mer(길이 k 서열)을 정점으로 삼고, k‑1 길이 겹침을 통해 엣지를 만든다. 짧은 읽기에서도 효율적으로 작동하지만, 그래프 구축 단계에서 메모리와 계산량이 크게 늘어난다. 특히 DNA는 양가닥(double‑stranded) 구조이므로, 각 k‑mer의 역보완(reverse complement)도 고려한 **양방향(bi‑directed) de Bruijn 그래프**가 필요하다. **2. 기존 연구와 한계** Jackson·Aluru(2008)는 병렬 알고리즘을 제시했으며, O(n/p) 시간 복잡도를 달성했지만, 각 정점에 대해 Σ(알파벳 크기)만큼의 many‑to‑many 메시지를 전송해 Θ(n·Σ) 통신량을 발생시켰다. 이는 특히 Σ=4(ATGC)라도 대규모 클러스터에서 네트워크 부하를 일으키며, 불필요한 엣지(스푸리어스 엣지)도 생성한다. **3. 제안 알고리즘 – BiConstruct** - **입력 전처리**: 모든 읽기와 그 역보완을 포함해 (k+1)‑mer 집합 Rₖ₊₁을 만든다. - **정규화**: 각 (k+1)‑mer에서 앞뒤 k‑mer를 추출하고, 사전 정의된 **canonical k‑mer**(정규형)으로 변환한다. 이는 양쪽 스트랜드를 하나의 대표 형태로 통합한다. - **엣지 생성**: 정규화된 두 k‑mer 사이에 방향(o₁, o₂)을 부여한 양방향 엣지를 만든다. - **정렬 및 중복 제거**: 모든 엣지를 radix sort(또는 bucket sort)로 정렬하고, 동일한 (정규화된) 엣지를 하나로 합쳐 multiplicity를 기록한다. - **출력**: 고유 엣지 리스트 E와 정점 집합 V를 반환한다. 정리된 정규화 덕분에 각 (k+1)‑mer당 정확히 하나의 엣지만 생성되며, 전체 엣지 수는 Θ(n)이다. 정렬 단계가 전체 복잡도의 지배적 요소이며, k·log|Σ|가 O(log N)이면 Θ(n) 시간에 수행된다(정리 1). **4. 병렬 구현 – Par‑BiConstruct** 프로세서 p마다 읽기 N/p개를 할당하고, 각 프로세서가 독립적으로 Step‑1을 수행한다. Step‑2에서는 **통신 없는 병렬 radix/bucket sort**를 적용한다. Kruskal‑Rudolph‑Snir 정수 정렬을 사용하면 O(n/p) 시간에 정렬이 가능하고, 메시지 복잡도는 O(n)으로 Σ에 독립적이다(정리 2). 이는 기존 방법의 many‑to‑many 통신을 완전히 제거한다. **5. 외부 메모리 구현** 내부 정렬을 외부 R‑way merge로 교체하면, 메모리 제한이 있는 환경에서도 최적 I/O 복잡도 Θ( n·log(n/B) / (B·log(M/B)) )를 달성한다(정리 3). 이는 외부 정렬의 이론적 하한과 일치한다. **6. 양방향 체인 압축** 생성된 그래프는 종종 긴 선형 체인(linear chain)을 포함한다. 이를 압축하면 정점 수와 메모리 사용량이 크게 감소한다. 직접적인 리스트‑랭킹을 적용하면 양방향 엣지의 양쪽 방향성 때문에 사이클이 생겨 잘못된 압축이 발생한다. 저자들은 **ListRankingTransform**을 도입한다: 각 정점 v를 v⁺, v⁻ 두 개로 복제하고, 양방향 엣지의 방향에 따라 유향 엣지를 연결한다. 변환된 그래프에서 기존 리스트‑랭킹 알고리즘을 적용하면, 양방향 경로가 존재하는 정점 쌍만이 연결됨을 보인다(Lemma 1). 이를 통해 정확한 체인 압축이 가능하고, 압축 후 남는 불필요한 엣지는 자동으로 제거된다. **7. 실험 및 평가** SGI Altix(다중 코어, 대용량 메모리) 클러스터에서 실제 유전체 데이터(수억 개의 100 bp 읽기)를 사용해 Jackson·Aluru 알고리즘과 비교했다. - **실행 시간**: 제안 알고리즘이 평균 2배 이상 빠름. - **통신량**: 메시지 수가 Θ(n) 수준으로 크게 감소. - **메모리 사용**: 체인 압축 후 정점 수가 최대 30% 감소, 전체 메모리 요구량도 비슷하게 감소. - **확장성**: 프로세서 수를 늘릴수록 거의 선형적으로 속도가 향상됨, 통신 병목이 없기 때문. **8. 결론** 본 논문은 대규모 양방향 de Bruijn 그래프 구축을 위한 **통합적인** 알고리즘 프레임워크를 제시한다. 순차, 병렬, 외부 메모리 모델 모두에서 최적에 가까운 시간·통신·I/O 복잡도를 달성했으며, 체인 압축을 위한 리스트‑랭킹 변환을 통해 그래프 크기를 실질적으로 줄였다. 이러한 기법은 현대 차세대 시퀀싱 파이프라인, 특히 Velvet와 같은 어셈블러에 바로 적용 가능하며, 향후 더 큰 규모의 메타게놈 및 인간 게놈 프로젝트에도 확장성을 제공한다.