병렬 비용 집계로 시각언어 정렬 강화

초록

본 논문은 기존의 직렬형 비용 집계가 클래스 수준 의미와 공간 구조 사이에 발생시키는 지식 간섭을 해소하기 위해, 공간 집계와 클래스 집계를 병렬로 수행하는 PCA‑Seg 프레임워크를 제안한다. 전문가‑구동 지각 학습(EPL) 모듈과 특징 직교화 분리(FOD) 전략을 도입해 서로 보완적인 특징을 효율적으로 통합하고, 파라미터와 메모리 오버헤드를 최소화하면서 8개 벤치마크에서 최첨단 성능을 달성한다.

상세 분석

PCA‑Seg은 비용 볼륨(cost volume) 위에서 시각‑언어 정렬을 강화하기 위해 기존의 “공간 → 클래스” 순차적 집계 방식이 초래하는 지식 간섭을 근본적으로 재설계한다. 먼저, CLIP 기반 시각·텍스트 인코더에서 얻은 픽셀‑레벨 시각 특징 Fᵥ와 텍스트 임베딩 Fₜ를 코사인 유사도로 결합해 H×W×N 차원의 비용 볼륨 S를 만든다. 기존 방법은 S를 연속적인 두 블록, 즉 공간 집계 Φ와 클래스 집계 Γ에 순차적으로 통과시켜 Vₙ₊₁ = Γ(Φ(Vₙ)) 형태로 정제한다. 이때 Φ가 만든 공간 구조 정보가 Γ에 전달되면서 클래스 의미가 왜곡되고, 반대로 클래스 집계가 공간 정보를 억제하는 상호 간섭이 발생한다.

PCA‑Seg은 이를 병렬화하여 Φ와 Γ가 동일한 입력 Vₙ에 대해 독립적으로 Bₙ = Φ(Vₙ)와 Eₙ = Γ(Vₙ)를 동시에 출력하도록 설계한다. 이렇게 하면 공간 흐름과 클래스 흐름이 서로의 편향에 영향을 받지 않으며, 두 흐름이 제공하는 서로 다른 차원의 정보를 그대로 보존한다. 그러나 병렬화만으로는 두 흐름을 효과적으로 결합하기 어려운 점이 있다. 이를 해결하기 위해 논문은 두 가지 핵심 모듈을 도입한다.

첫 번째는 전문가‑구동 지각 학습(EPL) 모듈이다. Bₙ과 Eₙ을 채널 차원에서 concat해 A를 만든 뒤, Z개의 전문가 블록 Υ_z가 각각 A를 변환해 D_z를 추출한다. 각 전문가 블록은 1×1 Conv → BatchNorm → GeLU → 1×1 Conv 구조로, 파라미터는 0.085M에 불과하지만 서로 다른 관점(예: 전역‑지역, 고주파‑저주파 등)에서 특징을 해석한다. 실험적으로 Z=4가 최적이며, Canonical Correlation Analysis(CCA) 결과는 각 전문가가 낮은 상관성을 보이며 상호 보완적인 정보를 학습함을 확인한다.

두 번째는 계수 매퍼(Coefficient Mapper)이다. D_z들을 가중합하기 위해 픽셀‑별 가중치 α_z(i,j)를 학습한다. 매퍼는 작은 MLP를 통해 A를 입력받아 Z개의 스칼라 계수를 출력하고, Softmax로 정규화한다. 이렇게 얻은 α_z는 D_z에 곱해져 최종 통합 피처 F̂ = Σ_z α_z·D_z를 만든다. 이 과정은 특징 차원을 그대로 유지하면서도, 각 픽셀에 가장 적합한 전문가의 기여도를 동적으로 조정한다.

두 흐름 간의 중복을 최소화하기 위해 Feature Orthogonalization Decoupling(FOD) 전략을 적용한다. Bₙ과 Eₙ 사이의 코사인 유사성을 최소화하는 orthogonalization loss L_ortho = (Bₙ·Eₙ)²를 추가함으로써, 두 스트림이 직교하도록 강제한다. 이는 EPL이 보다 다양한 표현을 학습하도록 돕고, 실험에서는 unseen 클래스에 대한 mIoU가 0.9% 상승하는 효과를 보였다.

전체 파라미터 증가량은 각 병렬 블록당 0.35M에 불과하고, GPU 메모리 추가 사용량도 0.96GB 수준이다. 이는 기존 직렬 블록 대비 거의 동일한 효율성을 유지하면서도, 8개의 공개 벤치마크(PASCAL‑5ᵢ, COCO‑Stuff, ADE20K‑Part 등)에서 평균 1~2%p 이상의 성능 향상을 달성한다. 특히, 클래스가 혼동되는 “runway vs truck” 사례에서 병렬 집계가 공간 정보를 보존하면서도 정확한 클래스 의미를 유지하는 것을 시각적으로 입증한다.

요약하면, PCA‑Seg은 비용 집계 단계에서의 구조적 병렬화와 전문가‑구동 피처 통합, 그리고 직교화 손실을 결합해 시각‑언어 정렬을 보다 정교하게 만들며, 경량화된 설계에도 불구하고 현존 최고 수준의 OSPS 성능을 기록한다.