고속 스페이스드 케머 추출 기술

본 연구는 DNA 서열에서 스페이스드 k‑mer, 즉 미리 정의된 마스크 패턴에 따라 선택된 위치만을 추출하는 작업을 고속으로 수행하기 위한 알고리즘과 구현을 제시한다. 먼저 서열을 2‑bit 인코딩(A = 00, C = 01, G = 10, T = 11)으로 변환한다. 32‑mer 이하라면 64‑bit 워드 하나에 전부 담을 수 있어, 연속적인 k‑mer를 슬라이딩하면서 매번 한 염기만 새로 인코딩하고 나머지는 비트 시프트만으로 갱신한다. 이 과정에서 기존 구현에 흔히 나타나는 ‘if‑else’ 분기 대신, 브랜치리스 룩업 테이블이나 ASCII 비트 패턴을 이용한 직접 변환을 사용해 분기 예측 실패를 최소화한다. 결과적으로 한 염기당 약 1 ns, 즉 초당 1 GB 수준의 연속 k‑mer 처리 속도를 달성한다. 스페이스드 k‑mer 추출 단계에서는 마스크 m(길이 k, 무게 w)의 1 위치에 해당하는 비트만을 골라 압축해야 한다. 최신 인텔·AMD CPU가 제공하는 PEXT(Parallel Bits Extract) 인스트럭션은 하드웨어 수준에서 비트를 빠르게 추출해 w‑mer를 1~2 사이클에 생성한다. 그러나 PEXT가 없는 ARM 기반(M1, M1 Pro)에서는 소프트웨어 기반 “Butterfly” 알고리즘을 적용한다. 이 알고리즘은 마스크 비트를 로그₂(64)=6 단계로 분해해, 각 단계에서 고정된 시프트와 마스크 연산을 수행한다. 시프트값은 마스크에 대해 미리 계산된 테이블에 저장되므로, 동일한 마스크에 대해 여러 k‑mer에 적용할 때 연산이 재사용 가능하고, SIMD(SSE2, AVX2, AVX‑512, Neon) 레지스터를 이용해 한 번에 여러 64‑bit 워드를 병렬 처리한다. 다중 마스크 상황에서도 효율은 유지된다. 한 번의 롤링 k‑mer 인코딩 후, 각 마스크마다 독립적인 비트 압축을 수행하면 되므로, 마스크 수가 증가해도 기본 k‑mer 순회 비용은 한 번만 발생한다. 이를 위해 런타임에 CPU 특성을 감지하고, PEXT, Butterfly, SIMD 중 가장 빠른 구현을 자동 선택하도록 설계했으며, C++ 템플릿(또는 Rust 제네릭)으로 구현해 함수 호출 오버헤드를 없앴다. 벤치마크는 Xeon, EPYC, Ryzen, Apple M1 등 다양한 아키텍처에서 수행되었다. PEXT가 지원되는 인텔·AMD CPU에서는 PEXT 기반 구현이 가장 빠르며, ARM에서는 SIMD 가속 Butterfly가 최적이다. 모든 환경에서 w‑mer당 1.3~1.8 ns, 즉 코어당 초당 520 ~ 750 MB의 서열 데이터를 처리한다. 이는 기존 연속 k‑mer 추출 속도(≈1 ns per k‑mer)와 비교해 큰 차이가 없으며, CLARK‑S, FSH, ISSH, MISSH, DuoHash 등 기존 스페이스드 k‑mer 도구보다 3.4~9.5배 빠른 결과를 보인다. 특히 다중 마스크를 동시에 적용할 경우, 기존 도구는 마스크당 전체 k‑mer를 재계산해야 하는 반면, 제안된 방법은 한 번의 k‑mer 순회만으로 여러 마스크에 대한 w‑mer를 동시에 생성한다. 코드량도 200줄 수준으로 간결하고, MIT 라이선스로 공개돼 다른 바이오인포매틱스 파이프라인에 손쉽게 통합할 수 있다. 저자는 향후 k > 32인 경우를 위해 128‑bit 레지스터 활용이나 추가 비트 연산을 적용할 계획이라고 밝히며, 현재 구현만으로도 대부분의 실용적인 어플리케이션에 충분히 빠른 성능을 제공한다는 점을 강조한다. 결론적으로, 스페이스드 k‑mer 추출은 하드웨어 비트 추출 명령과 효율적인 소프트웨어 알고리즘을 결합하면 기존에 성능 병목으로 인식되던 작업이 아니라, 고성능 유전체 분석 파이프라인의 한 단계로 충분히 활용 가능함을 입증한다.