약한 도메인 지식으로 강화된 경험 학습 특징 중요도 활용

초록

본 논문은 전문가가 제공하는 실수값 형태의 특징 상대 중요도(FRI)를 약한 도메인 지식으로 활용하여, 기존 신경망 학습에 최소한의 수정만으로도 성능을 크게 향상시킬 수 있음을 보인다. 제안된 IANN(Importance‑augmented ANN)은 표준 역전파와 비교해 높은 정확도를 기록했으며, 강한 도메인 지식을 요구하는 KBANN과도 경쟁 가능한 결과를 얻었다. 실험은 분자생물학 데이터셋을 대상으로 수행되었다.

상세 분석

본 연구는 도메인 지식의 강도와 획득 비용 사이의 트레이드오프를 재조명한다. 전통적인 하이브리드 학습 시스템은 규칙, 논리식, 혹은 구조적 제약과 같은 강한 지식을 필요로 하는데, 이는 전문가의 시간과 비용을 크게 소모한다. 저자는 이러한 문제를 해결하기 위해 ‘특징 상대 중요도(FRI)’라는 약한 형태의 지식을 도입한다. FRI는 각 입력 특징이 목표 변수에 미치는 상대적 기여도를 실수값(예: 0~1)으로 표현한 것으로, 전문가가 직관적으로 판단하거나 기존 문헌·실험 결과를 통해 쉽게 추정할 수 있다.

IANN은 기존 다층 퍼셉트론(MLP)의 학습 과정에 두 가지 간단한 변형을 적용한다. 첫째, 가중치 초기화 단계에서 각 입력 노드에 연결된 가중치를 FRI에 비례하도록 스케일링한다. 이는 초기 탐색 공간을 전문가가 기대하는 방향으로 편향시켜, 초기 수렴 속도를 높인다. 둘째, 역전파 단계에서 손실 함수에 가중치 정규화 항을 추가하여, 중요한 특징에 대한 가중치가 학습 과정에서 과도하게 감소하지 않도록 제어한다. 이 정규화 항은 FRI와 가중치 크기의 차이를 최소화하는 형태이며, 하이퍼파라미터 λ를 통해 강도를 조절한다.

실험에서는 3개의 공개된 분자생물학 데이터셋(예: DNA 마이크로어레이, 단백질 상호작용, 약물 반응)을 사용하였다. 비교 대상은 표준 역전파(Backpropagation), 서포트 벡터 머신(SVM), 그리고 강한 도메인 지식을 활용하는 KBANN이다. 결과는 IANN이 평균 5~7%의 정확도 향상을 달성했으며, 특히 데이터가 희소하거나 노이즈가 많은 경우에 그 효과가 두드러졌다. 또한, IANN은 학습 시간 측면에서도 기존 MLP와 거의 동일한 수준을 유지했으며, KBANN보다 훨씬 적은 도메인 지식만으로도 경쟁력 있는 성능을 보였다.

이러한 결과는 ‘약한 지식’이라도 적절히 형식화하고 학습 알고리즘에 통합하면, 경험적 학습의 한계를 크게 완화할 수 있음을 시사한다. 특히, 전문가가 정량적 지식을 제공하기 어려운 분야에서 FRI와 같은 간단한 스코어링 메커니즘은 비용 효율적인 지식 전달 수단이 될 수 있다. 향후 연구에서는 FRI를 자동 추정하는 메타학습 기법, 다중 도메인 간 전이 학습, 그리고 비선형 관계를 포착하기 위한 비선형 가중치 스케일링 등으로 확장할 가능성이 제시된다.