피부톤 연속성 기반 개별 공정성 완화와 재가중 손실

초록

본 논문은 피부색을 연속적인 속성으로 취급하고, 커널 밀도 추정(KDE)으로 그 분포를 모델링한다. 12가지 통계적 거리 측정법을 비교한 뒤, 소수 피부톤을 보정하기 위한 거리 기반 재가중(DRW) 손실 함수를 제안한다. CNN·Transformer 모델 실험에서 기존 범주형 재가중보다 개별 수준 편향을 더 효과적으로 감소시키며, 특히 Fidelity Similarity, Wasserstein Distance, Hellinger Metric, Harmonic Mean Similarity가 높은 성능을 보였다.

상세 분석

이 연구는 피부 병변 분류에서 발생하는 인종·피부톤 편향을 기존의 ‘흑·백·기타’와 같은 거친 그룹 구분이 아닌, 연속적인 피부톤 값으로 정량화한다는 점에서 혁신적이다. 저자들은 Fitzpatrick 피부타입을 그대로 사용하지 않고, 이미지 색상 히스토그램을 기반으로 CIELAB 색공간에서 L*값을 추출해 0~1 사이의 실수형 피부톤 스코어를 정의한다. 이렇게 얻은 스코어에 커널 밀도 추정(KDE)을 적용해 전체 데이터셋과 각 미니배치의 피부톤 분포를 부드럽게 추정한다. KDE는 가우시안 커널을 사용해 샘플 간의 연속성을 보존하면서도 희소한 톤에 대한 확률 질량을 적절히 할당한다.

편향 정량화 단계에서는 12가지 통계적 거리·유사도 지표—예: Kullback‑Leibler Divergence, Jensen‑Shannon Divergence, Wasserstein Distance, Hellinger Metric, Fidelity Similarity, Harmonic Mean Similarity 등—를 비교한다. 각 지표는 전체 데이터 분포와 현재 배치 분포 사이의 차이를 측정하고, 차이가 큰 경우 해당 배치에 가중치를 부여한다. 특히, Wasserstein Distance는 분포의 형태와 위치 차이를 동시에 반영해 연속형 속성에 적합함을 보였다. Fidelity Similarity와 Harmonic Mean Similarity는 확률 질량이 겹치는 정도를 직접적으로 측정해, 소수 피부톤이 충분히 대표되지 않을 때 높은 가중치를 부여한다.

제안된 거리 기반 재가중(Distance‑Based Reweighting, DRW) 손실은 기존의 클래스 가중치 방식과 달리, 각 샘플에 대해 “피부톤 거리 가중치”와 “분류 손실”을 곱해 최적화한다. 구체적으로, 배치 i의 가중치 wi는 선택된 거리 지표 di와 역비례하도록 정의하고, 최종 손실 L = Σi wi·ℓi (ℓi는 교차 엔트로피) 형태가 된다. 이렇게 하면 피부톤이 희소한 샘플은 학습 과정에서 더 큰 영향력을 갖게 된다.

실험에서는 ResNet‑50, EfficientNet‑B3 같은 CNN과 ViT‑B/16 같은 Vision Transformer를 사용해 ISIC‑2018 데이터셋에 피부톤 라벨을 부착한 후, 5‑fold 교차 검증을 수행했다. 평가 지표는 전체 정확도, AUC, 그리고 피부톤별 F1‑score의 표준편차를 사용해 공정성을 측정했다. 범주형 재가중(피부톤 그룹별 가중치)과 비교했을 때, DRW는 특히 피부톤이 극단적인(매우 밝거나 어두운) 샘플에서 F1‑score가 8~12% 상승했으며, 전체 표준편차도 30% 이상 감소했다. 또한, Fidelity Similarity와 Wasserstein Distance를 사용한 DRW가 가장 일관된 성능 향상을 보였고, Hellinger Metric과 Harmonic Mean Similarity도 유사한 결과를 나타냈다.

이러한 결과는 연속형 민감 속성을 다룰 때, 단순히 그룹을 나누는 전통적 방법보다 분포 전체를 고려하는 것이 개별 수준의 편향을 더 효과적으로 완화한다는 강력한 증거가 된다. 또한, DRW는 손실 함수에 가중치를 삽입하는 간단한 형태이므로 기존 파이프라인에 쉽게 통합 가능하며, 의료 영상 외에도 연속형 바이오마커(예: 연령, 혈압) 등에 적용할 여지를 제공한다.