계층적 구조를 활용한 트리 가이드 그룹 라쏘로 다중 반응 회귀와 eQTL 매핑 혁신

초록

본 논문은 유전자 발현량을 예측하는 다중 반응 회귀에서, 반응들 간의 계층적 클러스터링 트리를 이용해 구조화된 희소성을 동시에 학습하는 ‘트리 가이드 그룹 라쏘’를 제안한다. 겹치는 그룹에 대한 균형 잡힌 가중치 설계와 스무딩 프로시멀 그라디언트 최적화 기법을 도입해, 시뮬레이션 및 효모 데이터에서 예측 정확도와 진짜 변수 복원 능력에서 기존 방법들을 능가함을 보였다.

상세 분석

이 연구는 다중 반응 회귀 문제를 ‘구조화된 희소성’이라는 관점에서 재정의한다. 전통적인 그룹 라쏘는 미리 정의된 비겹치는 변수 그룹에만 적용 가능하지만, 실제 생물학적 데이터에서는 유전자 발현과 같은 반응들이 서로 중첩된 클러스터 구조를 형성한다. 저자들은 이러한 계층적 관계를 트리 형태로 모델링하고, 트리의 각 노드(리프는 개별 반응, 내부 노드는 반응 군집)를 하나의 그룹으로 간주한다. 핵심은 겹치는 그룹들에 대해 각 회귀 계수가 동일한 정도로 패널티를 받도록 하는 가중치 스키마이다. 구체적으로, 노드 깊이에 따라 가중치를 조정하고, 그룹 크기에 역비례하는 스케일링을 적용해 ‘과도한 패널티’와 ‘패널티 부족’ 현상을 방지한다.

최적화 측면에서는, 트리 라쏘의 페널티가 비선형이며 겹치는 그룹으로 인해 전통적인 좌표 하강법에 부적합하다. 이를 해결하기 위해 저자들은 ‘스무딩 프로시멀 그라디언트(SPG)’ 방법을 채택한다. SPG는 비스무스(비부드) 페널티를 부드러운 근사함수로 대체하고, 그라디언트 단계와 프로시멀 연산을 번갈아 수행함으로써 수렴성을 보장한다. 이 과정에서 각 그룹에 대한 프로시멀 연산은 닫힌 형태로 계산 가능하도록 설계돼, 대규모 유전체 데이터에서도 효율적인 실행이 가능하다.

실험에서는 두 가지 시나리오를 검증한다. 첫째, 인공적으로 생성한 데이터에서 트리 구조가 정확히 맞춰졌을 때와 부분적으로만 맞춰졌을 때의 복원율을 비교한다. 트리 라쏘는 특히 내부 노드 수준에서 중요한 변수를 정확히 식별하며, 기존의 독립 라쏘, 멀티태스크 라쏘, 그리고 일반 그룹 라쏘에 비해 F1 점수가 10~15% 상승한다. 둘째, 효모(yeast) eQTL 데이터에 적용해 실제 유전자-유전자 상호작용을 탐색한다. 여기서도 트리 라쏘는 예측 오차(RMSE)를 최소화하고, 알려진 기능적 유전자 군집과 높은 일치를 보이며, 새로운 후보 변이도 제시한다.

결과적으로, 트리 가이드 그룹 라쏘는 (1) 계층적 구조를 자연스럽게 반영해 변수 선택의 해석성을 높이고, (2) 겹치는 그룹에 대한 균형 잡힌 패널티 설계로 과적합을 방지하며, (3) SPG 기반 최적화로 계산 효율성을 확보한다는 세 가지 장점을 제공한다. 이는 다중 반응을 동시에 모델링해야 하는 유전체학, 신경과학, 이미지 분석 등 다양한 분야에 적용 가능성을 시사한다.