관계형 로지스틱 회귀 학습 알고리즘과 계층적 구조 탐색

** 본 논문은 관계형 로지스틱 회귀(Relational Logistic Regression, RLR)를 위한 새로운 학습 프레임워크를 제시한다. RLR은 다중 관계 데이터에서 조건부 확률을 가중된 논리식(weighted formula, WF)들의 합으로 표현하는 모델로, 기존의 베이즈 네트워크나 마코프 논리 네트워크와 달리 무한히 많은 부모 변수를 가질 수 있다. 이러한 특성 때문에 전통적인 테이블 기반 파라미터 학습이 불가능하고, 복잡한 집계 연산이 필요하다. 논문은 RLR 학습을 두 단계, 즉 구조 학습과 파라미터 학습으로 나눈다. 구조 학습에서는 가능한 모든 WF를 무작위로 생성하지 않고, Schmidt와 Murphy가 제안한 ‘계층적 가정(hierarchical assumption)’을 적용한다. 구체적으로, 먼저 단순한 1‑레벨(비연결 리터럴) WF들을 학습하고, L1 정규화된 로지스틱 회귀에서 비활성화된 특징을 제거한다. 그 후, 이들 특징의 모든 부분집합이 유효한 경우에만 더 복합적인 2‑레벨, 3‑레벨 등 고차원 WF를 추가한다. 이 과정은 ‘체인(chain)’ 형태의 WF만을 허용하고, 목표 변수와 연결되지 않은 ‘hanging’ 변수나 비대상 체인을 배제함으로써 탐색 공간을 크게 축소한다. 파라미터 학습 단계에서는 RLR의 무한 가중치를 직접 최적화하는 대신, 모든 grounding을 하나의 플랫 데이터 행렬로 변환한다. 각 행은 특정 목표 변수 인스턴스(Q(Z))의 실제 값과, 각 WF가 해당 인스턴스에서 만족한 횟수(또는 합계)를 피처값으로 갖는다. 이렇게 변환된 데이터는 일반적인 로지스틱 회귀 문제와 동일해지며, Weka 라이브러리의 LR 구현을 그대로 사용할 수 있다. 가중치는 학습된 로지스틱 회귀 계수와 일대일 대응한다. 추가적으로 논문은 ‘숨겨진 특성(hidden features)’을 도입한다. 이는 관측되지 않은 개체 속성을 잠재 변수로 모델링하고, 학습 과정에서 이들을 추가 피처로 활용한다. 실험 결과, 숨겨진 특성을 포함한 RLR 모델은 정확도가 상승하지만, 예측 확률이 0 또는 1에 과도하게 치우치는 ‘과신’ 현상이 발생한다. 이를 완화하기 위해 예측값을 전체 데이터 평균으로 회귀시키는 정규화 기법을 적용한다. 실험은 MovieLens 데이터셋을 변형한 버전을 사용한다. 사용자 성별과 연령을 예측 대상으로 삼고, 사용자와 영화 사이의 평점, 장르, 직업 등 다양한 관계 정보를 활용한다. 비교 대상은 (1) 관계 정보를 전혀 사용하지 않은 표준 로지스틱 회귀, (2) 최신 관계 학습 알고리즘인 RDN‑Boost이다. 결과는 다음과 같다. - RLR은 두 비교 모델에 비해 정확도와 AUC 모두에서 유의미하게 높은 성능을 보였다. - 계층적 구조 탐색을 통해 선택된 WF들은 직관적으로 의미 있는 관계(예: 친구 수가 5명 이상이면 행복함)와 일치했다. - L1 정규화가 불필요한 고차원 특징을 효과적으로 억제하여 과적합을 방지했다. - 숨겨진 특성을 추가했을 때는 정확도가 소폭 상승했지만, 과신 문제가 나타났으며 평균 회귀 정규화가 이를 완화했다. 결론적으로, 이 연구는 RLR을 실용적인 학습 파이프라인으로 전환하는 방법을 제시한다. 계층적 가정에 기반한 구조 학습은 탐색 효율성을 크게 높이고, 평면화된 파라미터 학습은 기존 머신러닝 툴을 그대로 활용할 수 있게 한다. 또한, 숨겨진 특성의 활용 가능성을 보여주면서도 그 부작용을 조정하는 방법을 제시한다. 이러한 접근은 복잡한 다중 관계 데이터에서 정확하고 해석 가능한 확률 모델을 구축하려는 연구자와 실무자에게 중요한 참고 자료가 될 것이다. **