프리 사인위치: 주파수 스위칭 기반 파라미터 효율적 다중 작업 학습

초록

Free Sinewich는 저‑랭크 LoRA와 컨볼루션 프라이어를 하나의 커널(AWB)로 결합하고, 작업별 사인 변환으로 가중치를 조절한다. 경량 Clock Net이 각 작업에 고유 주파수를 부여해 사인 변환을 안정화시키며, 이를 통해 동일 파라미터를 여러 작업에 재사용한다. Pascal‑Context와 NYUD‑v2에서 기존 PEFT‑MTL보다 적은 학습 파라미터(6.53 M)로 최고 성능을 달성한다.

상세 분석

Free Sinewich는 기존 파라미터‑효율 파인‑튜닝(PEFT) 방식이 단일 작업에 국한되는 문제를 근본적으로 해결한다. 핵심 아이디어는 “주파수 스위칭”이다. 먼저 LoRA의 저‑랭크 행렬 M = ABᵀ에 2‑D 컨볼루션 커널 W를 삽입해 A‑W‑B 형태의 통합 커널 M_AWB를 만든다(‘Sine‑AWB’ 레이어). 이 통합 커널은 블록‑Toeplitz 형태로 하나의 합성곱 연산으로 구현될 수 있어 연산·메모리 효율성을 크게 높인다.

다음 단계는 사인 변환이다. M_AWB에 작업‑특정 스칼라 주파수 ω_t를 곱한 뒤 element‑wise 사인 함수를 적용해 M_t = sin(ω_t·M_AWB) 를 만든다. 수학적으로 사인 함수는 비선형 매핑이면서도 행렬의 유효 랭크를 크게 증가시킨다(‘rank‑enrichment’). 따라서 동일한 저‑랭크 파라미터 집합이 다중 작업에 대해 고차원 표현력을 갖게 된다.

주파수 ω_t는 경량 Clock Net(LCN)에서 학습된다. 각 작업은 학습 가능한 토큰 p_t를 가지고, 단일 MLP W_q가 이를 스칼라 ω_t로 변환한다. 변환식 ω_t = s·(tanh(W_q·ReLU(p_t)) + c) 는 스케일 s와 오프셋 c를 통해 값이 제한된 구간에 머물게 하여 훈련 안정성을 보장한다. LCN 자체는 파라미터 비용이 거의 없으며, 주된 역할은 “주파수 바인딩”이다.

사인 변환 후 고주파 노이즈가 발생할 수 있기 때문에, 논문은 7×7 가우시안 저역통과 필터를 적용해 eM_t 를 얻는다. 이는 시각적 구조는 유지하면서 불필요한 진동을 억제해 학습 수렴을 돕는다.

디코더 설계에서도 파라미터 재사용을 극대화한다. 기존 PEFT‑MTL은 각 작업마다 독립적인 디코더를 복제해 파라미터가 O(T)로 증가한다. Free Sinewich는 공유 디코더 그룹 Ψ_shd를 도입하고, 디코더의 핵심 합성곱 가중치를 동일한 M_AWB 로 교체한다. 이후 각 작업마다 LCN‑주파수와 사인 변환을 거친 eM_t 가 적용되므로, 디코더 전체가 하나의 파라미터 집합만을 사용하면서도 작업별 특성을 유지한다.

이론적 분석에서는 (1) 사인 변환이 저‑랭크 행렬의 유효 랭크를 증가시켜 표현력을 보강하고, (2) 서로 다른 ω_t 가 생성하는 비선형 매핑이 작업 간 가중치를 통계적으로 디코릴레이션시켜 ‘task conflict’를 완화한다는 두 가지 근거를 제시한다.

실험 결과는 Pascal‑Context와 NYUD‑v2 두 벤치마크에서 입증된다. 파라미터 수는 6.53 M(전체 모델 대비 <1 %)에 불과하지만, 단일 작업 파인‑튜닝 대비 평균 +5.39 %의 성능 향상을 기록한다. 특히, mIoU, RMSE, ODSF 등 다양한 지표에서 기존 PEFT‑MTL(예: MTLoRA, DiT‑Former, DIT‑Task)보다 우수하며, 파라미터 효율성 측면에서도 가장 높은 ‘Δm’ 값을 보인다.

전체적으로 Free Sinewich는 (1) 저‑랭크 + 컨볼루션 융합, (2) 주파수‑조건 사인 변환, (3) 경량 주파수 생성기, (4) 공유 디코더 구조라는 네 가지 핵심 설계를 통해 파라미터 재사용과 작업 특화 사이의 트레이드오프를 최소화한다. 이는 “뇌의 진동 기반 멀티태스킹” 메타포를 딥러닝에 성공적으로 적용한 사례라 할 수 있다.