컬럼 네트워크 기반 집합 분류 모델

본 논문은 관계형 데이터에서 개체들을 동시에 분류하는 집합 분류(Collective Classification) 문제를 해결하기 위해 Column Network(CL​N)라는 새로운 심층 신경망 모델을 제안한다. 기존의 집합 분류 기법은 주로 로컬 분류기와 관계 기반 정규화, 반복적 라벨링 등을 결합한 얕은 구조에 머물렀으며, 복잡한 비선형 특징 학습 능력이 제한적이었다. 반면, CL​N은 뇌의 미니‑컬럼 조직을 모방해 그래프의 각 노드마다 하나의 미니‑컬럼을 두고, 이 컬럼을 Highway Net 기반의 피드포워드 서브네트워크로 구현한다. 모델 구조는 다음과 같다. 입력 특성 x_i는 첫 번째 은닉층 h_0^i가 된다. 각 층 t에서 현재 노드 i의 은닉 상태 h_t^i는 (1) 자신의 이전 은닉 상태 h_{t‑1}^i와 (2) 각 관계 r에 대해 이웃 노드들의 이전 은닉 상태를 평균 풀링한 컨텍스트 c_t^{i,r}=1/|N_r(i)|∑_{j∈N_r(i)}h_{t‑1}^j를 결합한다. 이 결합은 선형 변환 W_t·h_{t‑1}^i와 관계별 가중치 V_t^r·c_t^{i,r}의 합으로 표현되며, 활성화 함수 g를 적용한다(식 4). 이렇게 얻어진 후보 은닉 상태 ˜h_t^i는 Highway Net의 게이트 α_1^i와 α_2^i에 의해 최종 은닉 상태 h_t^i=α_1^i⊙˜h_t^i+α_2^i⊙h_{t‑1}^i 로 업데이트된다(식 5,6). 게이트는 시그모이드 함수를 통해 학습되며, 관계별 컨텍스트도 게이트 연산에 포함되어 각 관계의 중요도를 동적으로 조절한다. CL​N은 파라미터 공유 전략을 채택한다. 모든 층이 동일한 W, V, α 파라미터 집합을 공유함으로써 모델 크기가 층 수와 관계 수에 비례하지 않는다. 이는 RNN에서 사용되는 가중치 공유와 동일한 원리이며, 작은 데이터셋에서도 과적합 위험을 낮추고 메모리 사용을 최소화한다. 장거리 의존성은 깊은 층을 쌓음으로써 자연스럽게 확보된다. k번째 층까지 전파된 은닉 상태는 반경 k 이내의 모든 이웃 정보를 포함하므로, 충분히 깊은 CL​N은 전체 그래프의 전역 정보를 요약할 수 있다. Highway 구조는 이러한 다중 스케일 정보를 손실 없이 전달한다. 학습 과정에서는 전체 그래프를 한 번에 처리하는 전배치 방식과, 이웃 은닉 상태를 고정하고 미니‑배치로 파라미터를 업데이트하는 근사 방식을 모두 제안한다. 후자는 대규모 그래프에서도 효율적인 학습을 가능하게 하며, 실험에서 전배치와 거의 동일한 성능을 보였다. 실험은 세 가지 실제 데이터셋에 대해 수행되었다. (a) 소프트웨어 프로젝트의 작업 지연 예측에서는 각 작업을 노드, 의존 관계를 엣지로 모델링해 프로젝트 전체 일정 예측 정확도를 높였다. (b) PubMed 당뇨병 논문 분류에서는 논문을 노드, 인용·공동 저자·키워드 등을 다중 관계로 활용해 기존 NetKit 기반 방법보다 4%p 이상 높은 F1 점수를 기록했다. (c) 영화 장르 분류에서는 영화 간 감독·배우·시리즈 관계를 이용해 장르 라벨을 공동 추론했으며, CL​N‑HWN‑mini가 2%p 정도의 정확도 향상을 보였다. 비교 대상에는 (i) NetKit의 로컬+관계+집합 추론 파이프라인, (ii) Stacked Learning(LR·RF), (iii) 관계 없는 Highway Net(HWN‑noRel)이 포함되었다. 모든 경우에서 CL​N이 가장 높은 정확도와 F1 점수를 달성했으며, 특히 관계가 복잡하고 다중 유형이 존재하는 경우에 그 우수성이 두드러졌다. 결론적으로, CL​N은 (1) 다중 관계를 자연스럽게 통합, (2) 파라미터 공유와 Highway 구조를 통한 깊은 모델 구현, (3) 선형 시간 복잡도의 학습·추론, (4) 미니‑배치 기반 확장성을 동시에 만족하는 최초의 심층 집합 분류 프레임워크이다. 향후 연구에서는 어텐션 기반 풀링, 그래프 샘플링 기법, 그리고 비정형 관계(예: 텍스트 기반 관계)와의 결합을 통해 모델을 더욱 확장할 수 있을 것으로 기대된다.