식물계 결측치 메우기 계층적 확률 행렬 분해를 이용한 형질 예측

초록

본 논문은 전 세계 식물 형질 데이터베이스인 TRY의 대규모 결측치를 해소하기 위해, 식물계의 계통학적 계층 구조를 활용한 새로운 행렬 완성 기법인 계층적 확률 행렬 분해(HPMF)를 제안한다. 실험 결과, HPMF는 기존 MF 기반 방법보다 높은 예측 정확도를 보이며, 계층 정보를 통합함으로써 형질 간 상관관계도 효과적으로 포착한다.

상세 분석

본 연구는 식물 형질 데이터의 특수성을 두드러지게 강조한다. 첫째, TRY 데이터베이스는 수천 종에 걸친 수백 개 형질을 포함하지만, 전체 데이터의 70% 이상이 누락된 상태이다. 이러한 고결측 상황은 전통적인 통계 분석이나 머신러닝 모델이 직접 적용되기 어렵게 만든다. 둘째, 식물은 진화적 계통학적 관계에 따라 계층적 구조(종‑속‑과‑목‑계 등)를 형성한다는 점에서, 동일 계통에 속한 종들은 형질값이 유사할 확률이 높다. 기존의 확률적 행렬 분해(PMF)나 딥러닝 기반 협업 필터링은 이러한 구조적 정보를 전혀 활용하지 못한다.

HPMF는 이러한 한계를 극복하기 위해 베이지안 프레임워크 안에 계층적 라티스(Latent) 변수를 도입한다. 구체적으로, 각 계층(예: 목, 과, 속, 종)마다 별도의 라티스 행렬을 정의하고, 하위 계층의 라티스는 상위 계층 라티스로부터 정규분포 형태의 사전(prior)을 받는다. 이는 “상위 라티스 → 하위 라티스”의 조건부 확률 모델을 형성하여, 상위 계층에서 학습된 전반적인 형질 패턴이 하위 종 수준에서 세밀하게 조정되도록 만든다. 또한, 관측된 형질값은 가우시안 노이즈를 가정한 likelihood 함수에 의해 모델링되며, 변분 베이지안(Variational Bayesian) 추론을 통해 사후(posteriors)를 효율적으로 근사한다.

핵심 기술적 기여는 다음과 같다.

1. 계층적 사전 설계: 각 계층마다 평균과 공분산을 공유하는 다변량 정규분포를 사전으로 사용함으로써, 계통학적 거리와 형질 상관성을 동시에 인코딩한다.
2. 스케일러블 추론: 대규모 데이터에 적용하기 위해 Stochastic Gradient Variational Bayes(SGVB)를 변형하여, 미니배치 기반으로 라티스와 하이퍼파라미터를 동시에 업데이트한다. 이는 수십만 종·수백 형질의 행렬에도 실시간에 가까운 학습을 가능하게 한다.
3. 형질 상관성 학습: 라티스 차원 수를 적절히 설정하고, 라티스 간의 공분산 구조를 학습함으로써, 서로 다른 형질 간의 내재된 상관관계를 자동으로 발견한다. 이는 기존 MF가 독립적인 라티스 가정을 하는 것과 대조된다.

실험에서는 5개의 대표 형질(잎 면적, 목재 밀도, 종자 무게 등)을 선택하고, 10%~30%의 무작위 마스크를 적용한 후 예측 정확도를 RMSE와 MAE로 평가했다. HPMF는 동일 데이터셋에 대해 전통적인 PMF, NMF, 그리고 최근의 Graph Convolutional Matrix Completion(GCMC)보다 평균 12%18% 낮은 RMSE를 기록했다. 특히, 계층 깊이가 깊을수록(목‑과‑속‑종) 성능 향상이 두드러졌으며, 이는 계통학적 정보가 실제 형질 변이 설명에 크게 기여함을 시사한다. 또한, 라티스 차원 수를 2050으로 늘려도 과적합이 발생하지 않았으며, 이는 베이지안 사전이 모델 복잡성을 자연스럽게 제어함을 보여준다.

한계점으로는 (1) 계통학적 트리의 정확성에 의존한다는 점, (2) 관측된 형질이 매우 희소한 경우 라티스 초기화가 불안정할 수 있다는 점, (3) 현재는 정량형 연속형 형질에 초점을 맞추었으나, 범주형 형질에 대한 확장 필요성이 있다. 향후 연구에서는 멀티모달 데이터(유전 정보, 환경 변수)와 결합한 하이브리드 모델, 그리고 트리 구조 자체를 학습하는 베이지안 네트워크를 도입함으로써 이러한 제약을 완화할 수 있을 것으로 기대된다.