PCIe400 고속 데이터 수집 보드 인증 테스트

초록

PCIe400 보드는 48개의 양방향 링크와 400 Gb/s 백엔드 인터페이스를 지원하는 범용 고속 데이터 수집 보드이다. 본 논문은 프로토타입 보드에 대한 전원‑시작 동작, 주변 장치 접근성, PCIe Gen 4/5 및 4×100 Gb/s QSFP112 인터페이스의 BER 시험, 그리고 Agilex 7 트랜시버의 위상 결정성(10 ps 이하) 검증 결과를 제시한다. 전원‑시작 지연 문제와 핫스왑 컨트롤러 개선, 소프트웨어 프레임워크 기반의 자동화 테스트, 그리고 트랜시버 리셋 후 위상 안정성 분석을 통해 사양 충족 여부와 향후 개선 방향을 논의한다.

상세 분석

본 연구는 PCIe400 보드의 설계 목표와 실제 구현 사이의 격차를 정량적으로 평가한다. 전원 레일 23개에 대해 ±0.5 % 전압 정확도와 리플 ≤ 0.5 %를 만족했으며, FPGA가 24 W의 정지 전력을 소모한다는 점을 확인하였다. 초기 전원‑시작 시간은 핫스왑 컨트롤러의 100 ms 고정 지연과 DC‑DC 변환기의 시동 오류로 인해 사양을 초과했지만, 회로 수정 후 134 ms로 개선되었다. 이는 LHCb LS3 업그레이드와 같은 빠른 재시작 요구사항을 충족시키는 데 충분한 여유를 제공한다.

주변 장치 접근성은 PCIe와 USB/JTAG를 통한 메모리 매핑 버스(Avalon) 기반으로 구현되었으며, pytest와 polars를 활용한 400여 개의 자동화 테스트를 1분 이내에 수행함으로써 하드웨어‑소프트웨어 인터페이스의 신뢰성을 입증하였다. 이는 대규모 생산 단계에서 테스트 효율성을 크게 향상시킬 수 있다.

고대역폭 인터페이스 검증에서는 PCIe Gen 4 서버에서 2×8 분할 모드로 DMA 전송을 수행했으며, 95 % 신뢰수준에서 BER < 10⁻¹⁵을 달성하였다. 4×100 Gb/s QSFP112 링크는 PRBS‑31 패턴을 7시간 연속 전송하면서 RS(544,514) FEC를 적용했을 때도 오류가 거의 없었고, 최대 2개의 정정 가능한 심볼만 발생하였다. 이는 400 GbE 하드 IP와 FPGA 트랜시버 간 50 mm PCB 라인 길이에도 불구하고 신호 무결성이 유지됨을 의미한다.

위상 결정성 실험에서는 10.24 Gb/s 4채널을 사용해 DDMTD(1 ps 해상도)로 수신 클럭(rx_clkout)의 위상을 측정하였다. 전송 데이터 패턴을 1비트 이동시켰을 때 수신 클럭이 정확히 1 UI(≈100 ps) 이동함을 확인했으며, 트랜시버 리셋 후 위상 변동은 ±3 UI(≈300 ps) 내에서 양자화된 분포를 보였다. 500회 수신 동기화 실험에서는 두 개의 안정적인 락 포인트가 약 20 ps 차이로 존재했으며, 가장 확률이 높은 포인트를 선택하면 전송 스트림에 영향을 주지 않으면서 위상 변동을 6~8 ps 피크‑투‑피크 수준으로 제한할 수 있었다. 이는 10 ps 이하의 위상 결정성을 요구하는 프런트엔드 시계 배분에 충분히 만족한다.

전반적으로 전원‑시작, 주변 장치 제어, 고속 데이터 전송, 그리고 위상 안정성 측면에서 PCIe400 보드는 설계 목표를 충족했으며, 남은 과제로는 온도 변동에 따른 위상 drift, 다양한 펌웨어 컴파일 옵션에 대한 검증, 그리고 PCIe Gen 5 서버와의 완전한 호환성 테스트가 있다. 이러한 추가 검증이 완료되면 LHCb Upgrade II와 같은 차세대 고에너지 물리 실험에서 핵심 데이터 수집 인프라로 활용될 수 있다.