대용량 게놈 조립을 위한 간결 데이터 구조

초록

본 논문은 엔트로피 압축 및 간결 데이터 구조를 활용해 de Bruijn 그래프를 메모리 효율적으로 표현한다. 인간 게놈을 대상으로 한 실험에서 23 GB라는 10배 이상 절감된 저장 용량을 달성했으며, 오류가 많은 시퀀스에서도 기존 방법보다 우수한 확장성을 보인다.

상세 요약

de Bruijn 그래프는 NGS(차세대 시퀀싱) 데이터의 조립에 핵심적인 자료구조이며, 각 k‑mer를 정점, (k‑1)‑overlap을 간선으로 표현한다. 전통적인 구현은 해시 테이블이나 정렬된 배열을 사용해 정점과 간선을 명시적으로 저장하는데, 이는 수십억 개의 k‑mer를 다룰 때 수백 기가바이트에 달하는 메모리를 요구한다. 저자들은 이러한 비효율성을 극복하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, 정점 집합을 비트벡터와 랭크·셀렉트 연산을 지원하는 간결 인덱스로 표현한다. 비트벡터는 k‑mer가 존재하는 위치를 1로 표시하고, 랭크 연산을 통해 해당 위치의 순서를 O(1) 시간에 얻을 수 있다. 둘째, 간선 정보는 정점 비트벡터에 부착된 4비트(ATGC) 플래그로 압축한다. 이 플래그는 각 정점에서 가능한 다음 염기들을 나타내며, 실제 존재하는 간선만을 기록함으로써 불필요한 메모리 사용을 최소화한다. 또한, 엔트로피 압축 기법인 FM‑인덱스와 wavelet tree를 결합해 k‑mer 문자열 자체를 압축 저장한다. 이러한 구조는 전체 그래프를 O(N log σ) 비트(σ는 알파벳 크기) 수준으로 축소시키며, 특히 오류가 많은 데이터에서는 중복 k‑mer가 감소해 압축 효율이 더욱 향상된다. 구현 측면에서는 SDSL‑lite 라이브러리를 활용해 랭크·셀렉트와 wavelet tree 연산을 최적화했으며, 메모리 매핑을 통해 대용량 파일을 직접 메모리 주소 공간에 매핑함으로써 I/O 오버헤드를 최소화한다. 실험 결과는 인간 게놈(≈3 Gbp) 조립에 대해 기존 SOAPdenovo2와 비교해 메모리 사용량을 10배 이상 절감하면서도 그래프 구축 시간은 크게 증가하지 않았음을 보여준다. 더불어, 오류율이 1 % 수준까지 상승해도 메모리 증가율이 선형이 아닌 서브선형으로 유지되는 점은 이 접근법의 강력한 확장성을 입증한다. 전체적으로 이 논문은 간결 데이터 구조가 대규모 유전체 조립 문제에서 실용적인 메모리 절감과 계산 효율성을 동시에 제공할 수 있음을 증명한다.