사과 건조 수분 함량 예측을 위한 다중모달 데이터 융합

초록

본 논문은 사과 슬라이스 건조 과정에서 온도·풍속·건조시간 등 구조화된 공정 파라미터와 고해상도 이미지 데이터를 동시에 활용하는 다중모달 융합 모델을 제안한다. 탭ular‑이미지 병합 구조와 가변 비율 조정 방식을 통해 기존 단일모달 모델 대비 RMSE를 15 % 이상 감소시켰으며, 작은 샘플 변이까지 포착하는 강인성을 보였다.

상세 분석

이 연구는 식품 건조 공정에서 흔히 발생하는 비선형성·불확실성을 해결하기 위해 두 종류의 데이터, 즉 저차원 구조화된 탭ular 변수와 고차원 이미지 정보를 병렬 처리하는 새로운 신경망 아키텍처를 설계하였다. 이미지 전처리 단계에서는 최신 세그멘테이션 모델인 SAM을 이용해 사과 슬라이스를 정확히 마스크하고, 색온도 보정을 통해 조명 편차를 최소화한다. 이후 ResNet‑18을 통해 512 차원의 시각적 임베딩을 추출하고, 별도의 완전연결(FC) 네트워크로 탭ular 데이터를 동일 차원으로 변환한다. 두 임베딩을 가중치 비율에 따라 결합한 뒤, 추가 FC 레이어를 거쳐 최종 수분 함량을 회귀한다. 실험에서는 온도 60‑80 °C, 풍속 1.5‑2.5 m/s, 건조시간 70‑250 min의 84개 샘플을 사용했으며, 탭ular‑전용, 이미지‑전용, 기존 다중모달(단순 연결) 모델과 비교했을 때 RMSE 감소율이 각각 19.3 %, 24.2 %, 15.2 %에 달했다. 특히 이미지 비중을 높였을 때 작은 두께·무게 차이와 같은 미세 변이를 효과적으로 포착함을 시각화 결과와 함께 입증하였다. 데이터 분할 전략은 훈련·검증 셋이 중복되지 않도록 설계해 소규모·불균형 데이터에서도 과적합을 방지하였다. 한계점으로는 샘플 수가 제한적이며, 이미지 해상도와 조명 조건에 대한 민감도가 남아 있어 현장 적용 시 추가적인 캘리브레이션이 필요하다. 향후 연구에서는 다른 건조 방식(예: 동결건조)이나 다중 센서(열영상·광학) 데이터를 통합하고, 트랜스포머 기반의 교차‑모달 어텐션 메커니즘을 도입해 더욱 일반화된 모델을 구축할 여지가 있다.