유전 알고리즘과 딥러닝을 결합한 포르투갈 타일 재구성

본 논문은 포르투갈 타일 패널이라는 실세계 문화유산 복원 문제를 해결하기 위해, 유전 알고리즘(GA)과 딥러닝(DL) 기반 호환성 측정기(DLCM)를 결합한 새로운 하이브리드 스키마를 제안한다. 연구 배경으로는 기존 JPP(조각 맞추기 퍼즐) 연구가 주로 색상·텍스처 기반 가장자리 정보를 활용해 합성 데이터에서 높은 정확도를 보였지만, 실제 문화재 조각은 색상 정보가 부족하고 가장자리 손상이 심해 기존 방법이 거의 작동하지 않는다는 점을 들었다. 제안된 시스템은 두 부분으로 구성된다. 첫 번째는 ‘커널 성장’ 방식을 채택한 GA 기반 퍼즐 솔버이다. 염색체는 퍼즐 배치를 나타내며, 적합도는 전체 인접 조각 쌍의 호환성 점수 합으로 정의된다. 교차 연산자는 6개의 계층적 단계로 이루어져 있다. 단계 I·II는 높은(≥0.8) 점수를 가진 조각을 부모 염색체의 적합도에 따라 선택하고, 단계 III는 두 부모가 동일한 인접 조각을 제시할 경우 이를 그대로 채택한다. 단계 IV·V는 DLCM이 제공하는 가장 높은·두 번째 높은 호환성 점수를 이용해 조각을 추가하고, 마지막 단계 VI는 남은 조각을 무작위로 배치해 지역 최적화에 빠지는 것을 방지한다. 또한, 첫 두 단계와 세 번째 단계를 일정 확률(10%·20%)로 건너뛰어 변이를 도입한다. 인구 크기 100, 세대 500으로 설정했으며, 로테이션·크기 미지의 ‘타입 2’ 퍼즐에 적용한다. 두 번째는 DLCM이다. 기존의 SSD, MGC와 달리 전체 타일 이미지를 입력으로 하는 CNN을 설계해, 인접·비인접 조각 쌍을 구분하도록 학습한다. 제한된 학습 데이터셋에도 불구하고, 전체 이미지에서 고수준 텍스처·색상 통계량을 추출함으로써 가장자리 정보가 손상된 경우에도 70% 이상의 정확도로 올바른 인접 관계를 예측한다. 호환성 점수는 0~1로 정규화되어 GA의 적합도 계산에 바로 활용된다. 실험에서는 포르투갈 국립 타일 박물관에 보관된 150개와 256개 조각으로 구성된 두 실제 패널을 사용했다. 회전과 전체 퍼즐 크기가 알려지지 않은 상황에서, 제안된 하이브리드 시스템은 평균 82% 정확도를 달성했으며, 이는 동일 조건에서 Gallagher의 MGC 기반 방법이 3.5%에 불과했던 것과 큰 차이를 보인다. 또한 인간 전문가가 수작업으로 조립한 결과보다 높은 정확도를 기록했으며, 몇몇 경우에는 전문가의 실수를 자동으로 교정하였다. 논문은 재현성을 위해 새로운 벤치마크 데이터셋을 공개하고, GA 파라미터와 DLCM 학습 과정에 대한 상세 정보를 제공한다. 한계점으로는 DLCM 학습 데이터가 상대적으로 작아 일반화에 대한 의문, GA의 무작위성으로 인한 실행 간 품질 변동, 그리고 현재 시스템이 정사각형 조각에만 적용 가능하다는 점을 들었다. 향후 연구 방향으로는 멀티모달 특징 통합, 대규모 퍼즐에 대한 병렬 GA 구현, 비정형 조각에 대한 형태 기반 전처리 및 확장성을 제시한다. 결론적으로, 이 연구는 문화유산 복원이라는 실세계 문제에 특화된 퍼즐 솔버와 딥러닝 기반 호환성 측정기의 결합이라는 새로운 접근법을 제시함으로써, 기존 이론적 JPP 연구를 실용적인 응용으로 확장시키는 데 성공했다. 이는 학술적 기여와 동시에 문화재 보존 분야에 실질적인 영향을 미칠 수 있는 중요한 성과라 할 수 있다.