시각언어 모델의 공정성 향상을 위한 저랭크 파인튜닝

초록

본 논문은 안구 사진을 이용한 녹내장 진단에서 인공지능 모델이 인종·성별 등 민감한 그룹 간 정확도 격차를 보이는 문제를 해결하고자, 파라미터 효율성이 높은 LoRA 기법에 공정성 목표를 결합한 세 가지 학습 방법(FR‑LoRA, GR‑LoRA, Hybrid‑LoRA)을 제안한다. 차별화된 MaxAccGap 손실을 미분 가능하게 설계해 정확도 평등을 직접 최적화하고, 전체 파라미터의 0.24%만을 학습함으로써 제한된 의료 데이터에서도 과적합 없이 공정성을 크게 개선한다.

상세 분석

이 연구는 최신 대규모 시각‑언어 모델(VLM)인 Qwen2.5‑VL‑7B를 의료용으로 파인튜닝하면서, 기존의 공정성 연구가 주로 CNN 기반 모델에 국한된 점을 탈피한다. 핵심 기여는 두 가지이다. 첫째, 정확도 격차를 직접 측정·최적화하는 MaxAccGap 지표를 도입하고, 이를 소프트 정확도(pθ(y|x))로 근사해 미분 가능하게 만든다. 이 접근법은 기존의 Equalized Odds와 달리 “정확도 평등”이라는 임상적으로 직관적인 목표를 제공한다. 둘째, 파라미터 효율성을 위해 LoRA(Low‑Rank Adaptation)를 적용한다. LoRA는 가중치 행렬 ΔW=BA 형태의 저랭크 업데이트만 학습하도록 제한함으로써 전체 파라미터의 0.24%만을 조정한다. 저랭크 제약은 모델이 고차원 잡음이 아닌, 그룹 간 공통적인 진단 특징을 학습하도록 유도해 공정성 향상에 기여한다.

세 가지 학습 전략은 다음과 같다.

• FR‑LoRA: 기본 교차 엔트로피 손실에 λ·MaxAccGap_soft를 정규화 항으로 추가한다. 소프트 정확도는 각 그룹별 예측 확률의 평균으로 정의되며, 최대·최소 그룹의 정확도 차이에 따라 샘플별 그래디언트 부호가 바뀌어 약한 그룹은 손실을 감소시키고 강한 그룹은 손실을 증가시킨다. λ 값에 따라 공정성‑정확도 트레이드오프를 조절한다.
• GR‑LoRA: 각 민감 그룹의 샘플 수에 역비례하는 가중치 w_s를 적용해 그룹별 교차 엔트로피 손실을 가중합한다. w_s는 최소(N/|D_s|)와 최대값(10) 사이에서 클리핑되어, 극단적인 불균형에서도 안정적인 학습이 가능하도록 설계되었다. 직접적인 격차 최소화 목표는 없지만, 균형 잡힌 그래디언트 흐름을 통해 암묵적으로 정확도 격차를 감소시킨다.
• Hybrid‑LoRA: 위 두 방법을 결합해 w_s·L_s^CE와 λ·MaxAccGap_soft를 동시에 최적화한다. 데이터 불균형과 성능 불균형을 동시에 다루어 가장 높은 공정성 개선을 달성한다.

실험에서는 Harvard Glaucoma Fairness Dataset(10,000 이미지, 인종·성별·민족 3가지 민감 속성)으로 모델을 평가한다. 데이터는 7,000/1,000/2,000(학습/검증/테스트)로 분할됐으며, 특히 민족 속성은 21:1 비율로 심각한 불균형을 보인다. LoRA 파라미터는 r=32, α=64, dropout=0.05로 설정해 20M(≈0.24%) 파라미터만 학습한다. 전체 학습은 AdamW, lr=1e‑5, 배치 사이즈 8, 3 epoch으로 진행한다.

주요 결과는 다음과 같다. GR‑LoRA는 전체 정확도 53.15%를 유지하면서 MaxAccGap을 3.80%→1.17%로 69% 감소시켰다. FR‑LoRA와 Hybrid‑LoRA도 각각 55% 수준의 정확도와 55~60%의 격차 감소를 기록했다. λ를 크게 설정하면 격차 감소는 급격히 늘지만 정확도가 약간 하락하는 전형적인 트레이드오프가 관찰되었다. 또한, MaxAccGap을 직접 최소화한 모델은 Equalized Odds와 같은 다른 공정성 지표에서도 개선 효과를 보였다.

이 논문의 의의는 세 가지 측면에서 강조할 수 있다. 1) 임상적 해석 가능성: MaxAccGap은 “모든 환자가 동등한 진단 정확도를 얻는다”는 직관적인 목표를 제공해 의료 현장에서 이해와 수용이 쉽다. 2) 파라미터 효율성: LoRA 기반 저랭크 업데이트는 제한된 의료 데이터에서도 과적합 위험을 최소화하면서 공정성 최적화를 가능하게 한다. 3) 범용성: 제안된 프레임워크는 다른 의료 영상·질문 응답 작업이나 다른 VLM에도 그대로 적용 가능하므로, AI 기반 의료 서비스의 공정성 확보에 실용적인 길을 제시한다.