컨텍스트 회귀를 위한 신경망 모델

** 본 논문은 “컨텍스트 회귀”라는 새로운 문제 설정을 제시한다. 일반적인 회귀 모델은 모든 입력에 대해 하나의 파라미터 집합을 사용하지만, 실제 많은 응용에서는 상황(컨텍스트)에 따라 다른 회귀식이 필요하다. 예를 들어, 피부 색에 따라 산소 포화도를 측정하는 펄스옥시미터는 동일한 광학 신호라도 피부 색이 다르면 보정이 달라야 한다. 이러한 상황을 수학적으로는 입력 공간 X 를 회귀 특징 \(\hat X\)와 컨텍스트 특징 \(\tilde X\)로 분리하고, \(\tilde X\) 에 의해 정의된 유한 개의 영역 \(C_i\) 또는 점수 함수 \(g\) 에 의해 구간 \(I_i\) 으로 나누어 각 영역마다 별도의 선형 회귀 함수 \(f_i\) 를 적용하는 형태로 모델링한다. 전통적인 접근법은 컨텍스트를 인디케이터 변수로 변환하고, 회귀 변수와 교차항을 추가해 하나의 큰 선형 모델로 만드는 것이었다. 그러나 컨텍스트 특징이 연속형이면 인디케이터 변환이 불가능하고, 구간 경계가 복잡해질 경우 파라미터 수가 급증한다. 따라서 저자들은 신경망을 이용해 **컨텍스트 식별**과 **컨텍스트별 회귀**를 동시에 수행하는 구조를 고안한다. 제안된 Simple Contextual Neural Network(SCtxtNN)는 두 서브네트워크로 구성된다. 1. **컨텍스트 서브네트워크**는 입력 컨텍스트 특징 \(x_p\) (예: 피부 색을 나타내는 하나의 연속 변수)만을 받아 2c개의 퍼셉트론 유닛을 통해 각 구간 \(I_j\) 에 대한 “켜짐/꺼짐”을 판단한다. 여기서 퍼셉트론은 실제 구현 시 시그모이드 활성화로 부드럽게 근사한다. 2. **회귀 서브네트워크**는 나머지 회귀 특징 \(\hat x\) 을 입력으로 받아 은닉층에 2c개의 유닛을 두고, 각 유닛은 해당 컨텍스트가 활성화될 때만 \(\hat x\)와 선형 결합을 수행한다. 은닉층 출력은 ReLU를 통과하고, 최종 출력층은 이들을 단순히 합산해 최종 예측값을 만든다. 핵심 아이디어는 **스위치 메커니즘**이다. 컨텍스트 서브네트워크가 특정 구간을 “켜면” 해당 은닉 유닛에 큰 양의 가중치를 부여해 ReLU가 양수 값을 출력하게 하고, “꺼지면” 큰 음수 가중치를 곱해 출력이 0이 되게 한다. 이렇게 하면 하나의 네트워크 안에 c개의 독립적인 선형 회귀 모델이 존재하는 효과를 얻는다. 수학적 증명에서는 임의의 유한 컨텍스트 선형 회귀 모델에 대해, (i) 컨텍스트 서브네트워크의 가중치와 바이어스를 적절히 설정해 구간 경계를 정확히 구분하고, (ii) 회귀 서브네트워크의 은닉층 가중치를 각 구간별 회귀 계수 차이 \(\beta_j - \beta_{j-1}\) 로 두어 누적 합을 통해 현재 구간의 회귀식을 재구성한다는 것을 보인다. 이때 ReLU와 큰 음수 가중치가 “off” 상태를 강제한다. 따라서 SCtxtNN은 전통적인 컨텍스트 선형 회귀와 완전히 동등한 표현력을 가지면서도, 표준 신경망 레이어와 활성화 함수만으로 구현 가능하다. 실험에서는 가장 단순한 설정(p=2, q=1, c=3)을 사용한다. 컨텍스트 특징 \(\tilde x\)는 \(