지질 지식이 결합된 어텐션 트랜스포머로 암석층 식별 혁신

초록

GIAT는 기존 트랜스포머에 지질학적 사전지식인 CSC 필터를 활용한 어텐션 바이어스 행렬을 삽입해, 석유·가스 시추공 로그의 암석층 식별 정확도를 95 % 이상으로 끌어올리고, 입력 교란 시에도 해석 일관성을 유지하는 모델이다.

상세 분석

본 논문은 석유·가스 탐사에서 필수적인 암석층(Lithology) 식별 문제를 해결하기 위해, 데이터‑드리븐 지질 사전지식과 최신 Transformer 구조를 심층적으로 융합한 GIAT(Geologically‑Informed Attention Transformer)를 제안한다. 핵심 아이디어는 Category‑Wise Sequence Correlation(CSC) 필터를 이용해 각 암석 클래스별 전형적인 시계열 패턴을 학습하고, 이를 “지질 유사도 행렬” S로 변환한 뒤, 기존 Self‑Attention의 스코어에 직접 더해주는 어텐션 바이어스 행렬 M을 생성하는 것이다. 수식 (1)에서는 각 위치 i, k에 대한 코사인 유사도를 계산해 S_{ik}= (g_i·g_k)/(‖g_i‖‖g_k‖) 로 정의하고, 이후 정규화와 스케일링 과정을 거쳐 M을 만든다. 변형된 어텐션 공식(2)인
Attention(Q,K,V)=softmax((QK^T + M)/√d)·V
에서 M은 소프트맥스 이전에 삽입되어, 지질적으로 일관된 위치쌍에 높은 어텐션 가중치를 부여한다. 이는 기존 Transformer가 순수히 데이터에만 의존해 학습 불안정성을 보이는 문제를 근본적으로 완화한다.

모델은 세 개의 모듈로 구성된다. (a) CSC 필터 학습 모듈은 로그 데이터와 라벨을 이용해 클래스별 필터를 추출하고, 필터 응답을 통해 지질 특성 벡터 g_u를 만든다. (b) 지질 어텐션 융합 모듈은 g_u를 기반으로 S와 M을 계산하고, 기존 어텐션에 주입한다. (c) 최종 예측 모듈은 바이어스가 적용된 어텐션 출력을 이용해 다중 클래스 소프트맥스 레이어로 암석층을 분류한다. 학습 목표는 표준 교차 엔트로피 손실이며, Adam 옵티마이저와 조기 종료 전략을 사용한다.

실험은 공개 Kansas 데이터셋과 사설 Daqing 유전 데이터셋 두 곳에서 수행되었다. 교차‑웰 검증을 통해 일반화 능력을 평가했으며, 정확도, 정밀도·재현율·Kappa 외에도 입력에 가우시안 노이즈를 추가한 교란 실험에서 Pearson Correlation Coefficient(PCC)와 Structural Similarity Index(SSIM)으로 어텐션 해석 충실도를 측정했다. GIAT는 Kansas에서 94.7 %, Daqing에서 95.4 %의 정확도를 기록해 기존 최고 성능 모델(DRSN‑GAF)을 각각 3.9·%·6.5·% 앞섰으며, PCC와 SSIM에서도 19.7 %·31.3 %·7.9 %·18.1 %의 향상을 보였다.

또한, 어텐션 바이어스 행렬을 제거한 Ablation 실험에서는 정확도가 10·%~14·% 급감하고, PCC가 30 % 이상 감소하는 등 성능과 해석 일관성이 크게 저하됨을 확인했다. 시각화 결과에서도 GIAT는 지질학적 연속성을 유지한 매끄러운 예측을 제공했으며, 기존 모델은 교란 시 파편화된 오류를 보였다. 이러한 결과는 지질 사전지식이 어텐션 메커니즘에 직접적인 제약을 가함으로써, 데이터‑드리븐 학습의 강점은 유지하면서도 해석 가능성과 안정성을 크게 향상시킬 수 있음을 입증한다.

본 연구는 지질학적 도메인 지식과 딥러닝을 결합한 새로운 패러다임을 제시하며, 향후 다양한 지구과학 시계열 분석 및 다중 모달 데이터 융합에 적용 가능성을 열어준다.