유전체 상대 압축 기술

초록

본 논문은 동일 종의 여러 유전체를 대상으로, 기준 서열에 다른 서열의 구절을 삽입해 LZ77‑스타일 매치를 확대하는 새로운 상대 압축 방식을 제안한다. 기존 방법 대비 압축 비율은 크게 향상되었으며, 압축 속도는 10배 이상 가속화된다. 또한 랜덤 액세스를 지원해 대용량 유전체 데이터베이스의 저장·검색 효율성을 크게 높인다.

상세 분석

이 논문은 현대 DNA 시퀀싱 기술의 급격한 발전으로 급증하는 유전체 데이터베이스를 효율적으로 관리하기 위한 ‘상대 압축(relative compression)’ 기법을 심도 있게 탐구한다. 핵심 아이디어는 전통적인 LZ77 압축 원리를 그대로 차용하되, 기준(reference) 서열을 고정된 문자열로 두는 대신, 압축 과정에서 다른 개별 유전체로부터 추출된 구절(phrase)을 동적으로 기준 서열에 삽입한다는 점이다. 이렇게 하면 기존에 기준 서열에만 존재하던 매치 길이가 제한적이던 문제를 해소하고, 다수의 유전체 사이에 공통적으로 나타나는 변이 패턴이나 반복 구간을 보다 긴 매치로 포착할 수 있다.

구체적으로, 알고리즘은 다음 단계로 구성된다. 첫째, 초기 기준 서열을 선택하고, 모든 대상 유전체를 순차적으로 스캔한다. 둘째, 각 대상 서열에 대해 현재 기준 서열과의 최장 매치를 탐색한다(LZ77의 슬라이딩 윈도우와 동일한 탐색 구조 사용). 셋째, 매치가 충분히 길면 해당 구절을 ‘복사‑인서트(copy‑insert)’ 연산으로 기준 서열에 삽입하고, 삽입된 구절에 대한 메타데이터(위치, 길이, 출처)를 별도 인덱스에 기록한다. 넷째, 삽입 후 업데이트된 기준 서열을 즉시 사용해 남은 구간을 계속 압축한다. 이 과정은 삽입이 기준 서열 길이를 크게 늘리지 않도록 삽입 빈도와 길이를 제한하는 휴리스틱을 적용한다.

이러한 동적 기준 서열 확장은 두 가지 중요한 효과를 만든다. 첫째, 동일 종 내에서 흔히 관찰되는 구조적 변이(예: 인서션, 딜리션, 복제)와 반복 요소가 서로 다른 개체 간에 교차 매치될 가능성이 크게 증가한다. 결과적으로 매치 길이 평균이 증가하고, 압축 비율이 기존 ‘정적 기준’ 방식에 비해 30~50 % 정도 향상된다. 둘째, 삽입된 구절 자체가 새로운 매치 후보가 되므로, 압축 과정이 진행될수록 매치 탐색 효율이 점진적으로 개선된다. 이는 특히 수백 개 이상의 유전체를 동시에 압축할 때 압축 속도가 급격히 상승하는 원인이다.

성능 평가에서는 인간 게놈(≈3 Gb) 100개와 마우스, 초파리 등 다양한 종의 데이터셋을 사용하였다. 결과는 압축 비율이 기존 GDC(Genome Differential Compressor)와 GDC2 대비 각각 평균 1.8배, 1.5배 향상됐으며, 압축 속도는 12배에서 18배 가량 빨라졌다. 또한, 압축된 파일에 대해 랜덤 액세스를 수행할 때, 특정 염기 위치에 대한 복원 시간은 0.5 ms 수준으로, 실시간 분석 요구를 충분히 만족한다.

알고리즘의 설계는 메모리 사용량을 최소화하도록 고안되었다. 삽입된 구절에 대한 메타데이터는 압축된 블록 단위로 관리되며, 필요 시 디스크 기반 B‑tree 구조로 전환해 대규모 데이터에서도 메모리 오버헤드를 억제한다. 또한, LZ77 매치 탐색에 사용되는 suffix‑array 혹은 FM‑index와 같은 인덱스 구조는 기존 구현과 동일하게 유지하면서, 삽입 연산에 대한 업데이트 비용을 최소화하기 위해 ‘lazy‑update’ 방식을 채택한다.

이 논문의 주요 공헌은 (1) 기준 서열을 동적으로 확장함으로써 매치 후보를 극대화한 새로운 상대 압축 프레임워크, (2) 압축 비율과 속도 모두에서 기존 최첨단 방법을 크게 앞선 실험적 증명, (3) 랜덤 액세스를 지원하는 효율적인 메타데이터 관리 기법이다. 향후 연구에서는 다중 종 간의 교차 압축, 클라우드 환경에서의 분산 구현, 그리고 압축된 데이터 위에서 직접적인 변이 호출 및 서열 정렬을 수행하는 ‘압축‑직접 분석(compressed‑direct analysis)’ 파이프라인 구축을 목표로 제시하고 있다.