EM 알고리즘과 컴퓨테이셔널 바이올로지의 부상

초록

EM 알고리즘은 불완전한 데이터와 잠재 변수 모델을 다루는 최적화 도구로, 지난 10년간 DNA‑RNA‑단백질 흐름을 해석하는 다양한 계산생물학 문제에 핵심 역할을 해왔다. 본 논문은 서열 모티프 탐색, 단백질 서열 정렬, 집단 유전학, 진화 모델링, 마이크로어레이 발현 분석 등 다섯 분야에 걸친 EM 활용 사례를 정리하고, 알고리즘의 수학적 기반, 구현상의 도전 과제, 그리고 향후 연구 방향을 제시한다.

상세 분석

EM(Expectation‑Maximization) 알고리즘은 관측되지 않은 잠재 변수와 결합된 확률 모델의 최대우도 추정을 반복적으로 수행한다는 점에서, 불완전하거나 잡음이 섞인 생물학적 데이터에 이상적인 프레임워크를 제공한다. 특히 서열 모티프 발견에서는 Position‑Specific Scoring Matrix(또는 PWM)를 잠재 변수인 모티프 위치와 결합시켜, E‑step에서 각 위치가 모티프에 속할 사후 확률을 계산하고, M‑step에서 기대값을 기반으로 PWM을 업데이트한다. 이 과정은 초기값에 민감하지만, 다중 시작 전략과 정규화 기법을 통해 지역 최적화 문제를 완화할 수 있다.

단백질 서열 정렬에서는 숨은 마코프 모델(HMM)이 구조적·기능적 보존을 모델링하는데 사용된다. EM의 Baum‑Welch 알고리즘은 HMM 파라미터(전이·방출 확률)를 관측된 서열 집합에 대해 효율적으로 학습한다. 여기서 중요한 점은 상태 수와 모델 복잡도 사이의 트레이드오프이며, 교차 검증이나 BIC와 같은 정보 기준을 통해 과적합을 방지한다.

인구 유전학에서는 EM이 Hardy‑Weinberg 평형, 유전자 흐름, 선택 압력 등을 추정하는 데 활용된다. 예를 들어, 다형성 좌위의 알렐 빈도와 개체군 구조를 동시에 추정할 때, E‑step에서 각 개체가 특정 하위집단에 속할 확률을 계산하고, M‑step에서 알렐 빈도와 하위집단 비율을 업데이트한다. 이는 STRUCTURE와 같은 프로그램의 핵심 알고리즘이며, 베이즈 사전을 도입해 파라미터 불확실성을 정량화한다.

진화 모델링에서는 연속적인 변이 과정(예: GTR, HKY85)을 파라미터화하고, EM을 통해 트리 구조와 변이율을 동시에 추정한다. 특히, 대규모 유전체 데이터에서 부분적인 시퀀스 정렬이 누락된 경우, EM은 누락된 데이터에 대한 기대값을 효율적으로 계산해 전체 로그우도를 최적화한다.

마지막으로 mRNA 마이크로어레이 분석에서는 혼합 가우시안 모델을 이용해 발현값의 배경 잡음과 실제 신호를 구분한다. EM은 각 프로브의 발현 수준을 잠재 변수로 두고, E‑step에서 신호와 잡음에 대한 책임(Responsibility)을 구한 뒤, M‑step에서 평균·분산을 재추정한다. 이를 통해 차등 발현 유전자 검출의 민감도와 특이도를 동시에 향상시킬 수 있다.

전반적으로 EM은 확률적 모델링과 불완전 데이터 처리라는 두 축을 동시에 만족시키며, 계산생물학 전반에 걸친 다양한 문제에 적용 가능성을 보여준다. 다만, 수렴 속도와 지역 최적화 위험, 초기값 선택의 민감도 등은 여전히 해결 과제로 남아 있다. 최근에는 변분 베이즈(VB)와 스토캐스틱 EM, 그리고 딥러닝 기반 사전 모델과의 하이브리드 접근이 제안되어, EM의 한계를 보완하고 확장성을 높이고 있다.