코히어런스 트래픽 최소화와 인텔 나이츠 랜딩 구조

초록

이 논문은 인텔 나이츠 랜딩(KNL) 프로세서의 메쉬 인터커넥트에서 사용되는 분산 디렉터리의 물리적 매핑을 역공학하고, 해당 매핑을 이용해 코히어런스 트래픽을 줄이는 최적화 방안을 제시한다. 매핑이 의사난수 형태임을 밝혀냈으며, 이를 기반으로 동적·정적 스케줄링을 설계했지만, 매핑 연산의 복잡성으로 인해 실제 성능 향상은 제한적이었다.

상세 분석

본 연구는 KNL 프로세서의 메쉬 구조와 각 타일에 내장된 Caching/Home Agent(CHA) 간의 주소‑CHA 매핑이 공개되지 않은 점을 출발점으로 삼았다. 저자들은 기존 작업에서 수집한 256 백만 개의 메모리 블록에 대한 CHA 매핑 데이터를 기반으로, 주소 비트와 CHA 비트 사이의 XOR 기반 관계를 정밀히 분석하였다. 특히 6비트(0‑5) CHA 값을 각각 독립적인 논리식으로 표현할 수 있음을 확인했으며, 이는 전형적인 CRC나 LFSR과 유사한 의사난수 해시임을 시사한다. 매핑 함수는 주소의 하위 6비트를 제외한 58비트를 활용하며, 일부 비트는 직접 XOR에, 일부는 복합적인 OR·AND·XOR 조합에 포함된다. 이러한 복잡한 함수는 하드웨어 수준에서는 빠르게 계산될 수 있지만, 소프트웨어 레벨에서 정확히 재현하려면 상당한 연산 비용이 발생한다.

이를 활용한 최적화 전략은 두 가지로 나뉜다. 첫 번째는 런타임에 메모리 블록의 CHA 위치를 추정해 작업을 가까운 CHA에 매핑하는 동적 스케줄링이다. 기존의 inspector‑executor 방식은 성능 카운터를 통해 매핑을 탐색했으나, 매핑 함수가 알려지면 탐색 비용을 크게 줄일 수 있다. 그러나 함수 자체가 복잡해 실제 적용 시 추가 연산이 발생하고, 스케줄링 오버헤드가 전체 실행 시간의 5‑10 %에 달해 기대한 성능 향상이 상쇄되었다. 두 번째는 컴파일 타임에 메모리 배치를 사전 계산하는 정적 스케줄링이다. 소스 코드 수준에서 배열이나 데이터 구조를 CHA 근접성을 고려해 재배치했지만, 매핑 함수의 비선형성 때문에 최적 배치를 찾는 탐색 공간이 급격히 확대되어 컴파일러가 실용적인 시간 안에 최적해를 찾지 못했다.

실험 결과는 메모리 대역폭은 향상되었으나, 전체 어플리케이션 실행 시간은 크게 변하지 않았으며, 경우에 따라 오히려 성능이 저하되었다. 이는 코히어런스 트래픽 감소가 메모리 접근 지연을 줄이는 한편, 매핑 연산과 스케줄링 오버헤드가 새로운 병목을 만들었기 때문이다. 따라서 논문은 분산 디렉터리의 매핑이 의사난수적 특성을 갖는 한, 소프트웨어 레벨에서의 최적화는 근본적인 한계에 부딪힌다고 결론짓는다.