그래프 트랜스포머의 논리적 표현력: 실수와 부동소수점에서의 비교 분석

초록

본 논문은 그래프 트랜스포머(GT)와 GPS‑네트워크의 표현력을 논리 체계와 연결한다. 실수 기반에서는 정점 속성이 1차 논리(FO)로 정의될 때 GPS‑네트워크가 전역 모달리티를 갖는 등급 모달 논리(GML + G)와 동등함을 보이고, 부동소수점에서는 전역 카운팅 모달리티를 포함한 GML + GC와 동등함을 증명한다. 또한 GT는 각각 명제 논리 PL + G와 PL + GC와 같은 수준의 표현력을 가진다. 결과는 소프트‑어텐션과 평균 하드‑어텐션 모두에 적용된다.

상세 분석

이 연구는 그래프 학습 모델에 트랜스포머 레이어를 도입했을 때 발생하는 논리적 한계를 체계적으로 규명한다. 먼저 실수(real) 입력을 가정한 경우, 저자들은 GPS‑네트워크가 1차 논리(FO) 내에서 정의 가능한 정점 속성에 한정될 때 전역 모달리티를 갖는 등급 모달 논리(GML + G)와 동등한 표현력을 가진다는 정리를 제시한다(정리 4). 여기서 ‘전역 모달리티’는 그래프 전체에 대한 존재·모두 연산을 의미하며, 카운팅이 없는 형태이다. 이는 트랜스포머가 전역 정보를 전달하더라도 정밀한 개수 비교는 불가능함을 의미한다. 증명 과정에서 새롭게 정의된 ‘전역‑비율 등급 동형성(∼G %)’을 도입하고, 이 동형성에 불변인 FO‑식이 GML + G 식으로 변환될 수 있음을 보이는 van Benthem‑Rosen 스타일의 결과를 활용한다.

반면 부동소수점(float) 입력에서는 연산의 ‘언더플로우’ 현상을 이용해 전역 카운팅이 가능한 논리 체계와 동등함을 보인다. 구체적으로 GPS‑네트워크는 전역 카운팅 모달리티를 포함한 GML + GC와 정확히 일치한다(정리 16). 이는 절대적인 카운팅(예: “라벨 p를 가진 정점이 최소 10개 존재한다”)이 가능해짐을 뜻한다. 흥미롭게도 실수 기반에서 가능한 상대적 카운팅(“라벨 p를 가진 정점이 라벨 q보다 많다”)은 부동소수점에서는 표현되지 않으며, 두 경우의 표현력은 서로 비교 불가능한 관계에 놓인다.

GT에 대해서는 실수 경우에 명제 논리 PL에 전역 모달리티만을 추가한 PL + G와 동등함을 보이며(정리 10), 부동소수점에서는 PL + GC와 동등함을 증명한다(정리 14). 이는 GT가 GNN에 비해 논리적 복잡도는 낮지만, 전역 읽기(readout) 메커니즘을 통해 전역 정보를 활용할 수 있음을 의미한다. 또한 소프트‑어텐션과 평균 하드‑어텐션 모두 동일한 결과를 보이며, 집계 함수(sum, max, mean) 선택에 크게 의존하지 않는다.

전체적으로 이 논문은 그래프 트랜스포머와 GPS‑네트워크의 표현력을 기존 GNN 연구와 연결시키면서, 실수와 부동소수점이라는 두 가지 수치 체계가 논리적 능력에 미치는 영향을 명확히 구분한다. 특히 전역‑카운팅 모달리티의 존재 여부가 수치 체계에 따라 달라지는 점은 모델 설계 시 중요한 설계 지표가 될 수 있다.