동적전문가라이브러리 기반 연속형 날씨 이미지 복원 네트워크

초록

DELNet은 날씨 이미지 복원을 위한 연속학습 프레임워크로, 작업 유사성을 판단하는 ‘판단 밸브’와 다양한 기상 변형을 담당하는 전문가들을 동적으로 관리·추가하는 ‘전문가 라이브러리’를 결합한다. 새로운 기상 조건이 등장하면 유사도가 높은 기존 전문가 k개를 선택해 지식 전이를 수행하고, 동시에 새로운 어댑터를 학습해 특화된 전문가를 추가한다. 기존 작업에 대해서는 저장된 전문가를 그대로 재사용해 재학습 없이 즉시 복원을 수행한다. 실험 결과 OTS, Rain100H, Snow100K 데이터셋에서 기존 연속학습 방법 대비 PSNR 11‑16% 향상을 달성했으며, 파라미터 효율성도 뛰어나다.

상세 분석

DELNet은 세 가지 핵심 모듈로 구성된다. 첫 번째는 Deep Feature Enhancement(DFE) 네트워크로, 병렬 셀프‑어텐션과 편광 어텐션을 결합해 채널·공간 정보를 강화하고, 소프트맥시멈과 가중치 매핑을 통해 복원 품질을 극대화한다. 두 번째는 판단 밸브(Judging Valve, JV)이다. 입력 이미지에서 평균·표준편차·최대·최소·L2 노름 등 다섯 가지 통계량을 추출해 작업 벡터를 만든 뒤, 코사인 유사도, 유클리드 거리, 피어슨 상관을 가중합(a=0.5, b=0.3, c=0.2)하여 종합 유사도 S_sum을 계산한다. 동적 임계값 관리 메커니즘은 초기 임계값 0.75에서 시작해 새로운 작업이 등장하면 S_sum>0.85이면 기존 작업, <0.5이면 새로운 작업으로 분류하고, 중간값에서는 최근 유사도 분포의 중앙값·표준편차를 이용해 임계값을 점진적으로 조정한다. 이는 작업 순서에 따른 민감도를 완화하면서도 정확한 작업 구분을 가능하게 한다.

세 번째 모듈은 동적 전문가 라이브러리(DEL)이다. 각 전문가는 인스턴스 정규화·프로젝션 컨볼루션·활성화·잔차 연결로 구성된 경량 어댑터 형태이며, 독립적인 파라미터와 성능·사용 빈도 기반 점수 S_c = P_i × U_i 로 평가된다. 성능 점수 P_i는 지수 이동 평균(β=0.9)으로 업데이트되며, 손실 기반 온도 스케일링(τ=0.1)으로 가중치를 부여한다. 새로운 작업이 들어오면 상위 K개의 전문가를 선택하고, 선택된 전문가들의 출력은 u_i = exp(−L_i/τ) 로 정규화된 가중치와 함께 선형 결합되어 최종 복원 결과를 만든다. 선택되지 않은 전문가들은 즉시 동결(freeze)되어 파라미터가 변하지 않음으로써 재현성 손실(catastrophic forgetting)을 방지한다.

손실 함수는 다중 레벨 목표를 채택한다. (i) L_sw는 L1 재구성 손실과 대비 손실(Contrastive Loss)을 결합해 픽셀 수준과 의미적 일관성을 동시에 최적화한다. (ii) L_kd는 구형 모델(teacher)과 현재 모델(student) 사이의 L1 차이와 대비 손실을 통해 지식 증류를 수행한다. (iii) L_p는 자동 인코더를 이용한 특징 레벨 투영 손실로, 두 모델의 잠재 표현을 정렬한다. (iv) L_reg는 어댑터 파라미터의 L2 정규화이며, 동적 계수 β는 학습 단계에 따라 조정된다. (v) L_div는 활성화된 전문가들의 손실 표준편차에 −γ를 곱한 형태로, 전문가 간 전문성을 촉진하고 중복을 억제한다. 전체 손실은 L_total = L_sw + αL_kd + λL_p + βL_reg + L_div 로 결합되며, α=0.8, λ=0.3 등 실험적으로 최적화된 하이퍼파라미터가 적용된다.

실험에서는 RESIDE(안개), Rain100H(비), Snow100K(눈) 세 가지 데이터셋을 순차적(haze→rain→snow)과 다중(task‑joint) 두 설정에서 평가하였다. 연속학습 베이스라인(EWC, MAS, LwF, POD, PIGWM, AFC)과 정적 All‑in‑One 모델(TransWeather, WGWS, WeatherDiff, ADSM, CLAIO)과 비교했을 때, DELNet은 PSNR에서 평균 2.1‑3.5dB, SSIM에서도 0.02‑0.04 포인트 상승을 기록했다. 특히 파라미터 수는 5.6M로, 가장 큰 모델인 WeatherDiff(83M) 대비 15배 이상 가볍다. 전문가 수를 30개로 설정했을 때 성능과 연산 비용 사이의 최적 균형을 찾았으며, 전문가 수를 늘리면 지식 용량은 증가하지만 학습 시간과 메모리 사용량도 비례적으로 상승한다는 점을 확인했다.

또한, 작업 순서에 따른 민감도 실험(Tabel 6)에서는 초기 작업이 더 높은 성능을 유지하는 경향이 있음을 보고했으며, 이는 판단 밸브의 동적 임계값 조정이 아직 완전하지 않음을 시사한다. 향후 연구에서는 교사 모델 업데이트 전략과 극한 기상 조건(예: 폭설·강우)에서의 견고성을 강화하는 방향이 제시되었다.

전반적으로 DELNet은 전문가를 동적으로 관리하고, 작업 유사도 기반 라우팅과 다중 레벨 손실을 결합함으로써 연속학습 환경에서도 높은 복원 품질과 효율성을 동시에 달성한다는 점에서 기존 방법들을 크게 능가한다.