작업별 정규화로 간소화된 다중작업 모델

초록

본 논문은 다중작업 학습에서 복잡한 모듈 대신 작업별 정규화 층만으로도 충분히 성능을 끌어올릴 수 있음을 입증한다. 기존 공유 정규화 대신 Task‑Specific Sigmoid Batch Normalization(TSσBN)을 도입해 각 작업이 네트워크 용량을 부드럽게 할당하도록 하였으며, CNN과 Transformer 모두에서 NYUv2, Cityscapes, CelebA, PascalContext 등 주요 벤치마크에서 경쟁력 있는 결과를 얻었다. 또한 학습된 게이트를 통해 작업 간 관계와 필터 특화 현상을 해석할 수 있다.

상세 요약

이 연구는 다중작업 학습(MTL)에서 가장 흔히 직면하는 두 가지 문제, 즉 자원 배분과 작업 간 간섭을 정규화 층만으로 해결하려는 시도이다. 기존 MTL 접근법은 종종 별도의 작업별 어댑터, 라우팅 네트워크, 혹은 복잡한 스위칭 메커니즘을 도입해 파라미터와 연산량을 크게 늘렸다. 그러나 정규화는 이미 각 채널의 통계(평균·분산)를 조정함으로써 표현 공간을 재구성하는 역할을 수행한다는 점을 고려하면, 작업마다 독립적인 정규화 파라미터를 부여하는 것만으로도 충분히 작업 특화된 스케일링·시프팅을 구현할 수 있다.

논문은 먼저 **Task‑Specific Batch Normalization (TSBN)**을 실험적으로 검증한다. 공유 BN 대신 각 작업마다 별도의 γ(스케일)와 β(시프팅) 파라미터를 학습하게 하면, 파라미터 증가량은 전체 모델 파라미터 대비 미미하지만, 각 작업이 자신에게 최적화된 정규화 변환을 적용받아 성능이 현저히 개선된다. 이는 특히 서로 다른 데이터 분포를 갖는 비전·세그멘테이션·키포인트 검출 등 이질적인 작업에서 두드러졌다.

그 다음 제안된 **Task‑Specific Sigmoid Batch Normalization (TSσBN)**은 기존 BN에 시그모이드 게이트를 추가한다. 구체적으로, 각 작업마다 채널별 스칼라 게이트 g∈(0,1)를 학습하고, 정규화된 출력에 g를 곱해 “soft”하게 용량을 할당한다. 이 설계는 완전한 파라미터 공유를 유지하면서도, 작업이 필요로 하는 채널에 더 큰 가중치를 부여하고 불필요한 채널은 억제한다. 시그모이드 함수는 부드러운 미분 가능성을 보장해 학습 안정성을 높이며, 게이트 값 자체가 작업 간 유사성·차이를 직관적으로 나타낸다.

실험에서는 ResNet‑50 기반 CNN과 ViT‑Base 기반 Transformer 두 가지 백본을 사용해 광범위한 벤치마크를 평가한다. NYUv2(깊이·표면법선·세그멘테이션), Cityscapes(세그멘테이션·거리예측), CelebA(속성 예측), PascalContext(다중클래스 세그멘테이션)에서 TSσBN은 기존 복잡한 MTL 아키텍처(예: Cross‑Stitch, MTAN, PAD-Net 등)와 동등하거나 더 높은 mIoU·AP·RMSE 등을 기록한다. 파라미터 효율성 측면에서는 전체 모델 파라미터 대비 1~2% 정도만 추가되며, 연산량( FLOPs) 증가는 무시할 수준이다.

또한, 학습된 게이트를 시각화함으로써 필터 특화 현상을 정량화한다. 예를 들어, Cityscapes의 거리 예측 작업은 깊이와 관련된 채널에 높은 게이트 값을 보이며, 반면 세그멘테이션 작업은 경계 감지와 색상 구분에 유리한 채널에 집중한다. 이러한 분석은 작업 간 관계 매트릭스를 도출해, 유사한 작업끼리는 게이트 패턴이 유사하고, 상충되는 작업은 서로 다른 채널을 선호한다는 사실을 밝혀낸다.

결론적으로, 논문은 복잡한 모듈 설계보다 정규화 층 자체가 강력한 작업 구분 메커니즘임을 증명한다. TSσBN은 파라미터 효율성, 학습 안정성, 해석 가능성 세 마리 토끼를 모두 잡으며, 향후 MTL 설계에서 “정규화 중심” 접근법이 표준이 될 가능성을 제시한다.