실시간 인사이트와 CNN 시각화를 위한 인시투 텐서뷰

초록

본 논문은 과학 시뮬레이션용 시각화 툴인 ParaView와 그 코-프로세싱 라이브러리 Catalyst를 활용해, TensorFlow 기반 합성곱 신경망(CNN)의 학습·예측 과정을 실시간(in situ)으로 시각화하는 프레임워크인 In situ TensorView를 제안한다. 가벼운 어댑터만을 TensorFlow에 삽입함으로써 I/O 오버헤드를 최소화하고, 가중치·활성화의 변화, 뉴런 간 유사도, 파라미터 궤적 등을 다중 뷰어를 통해 직관적으로 제공한다. LeNet‑5와 VGG‑16을 대상으로 한 사례 연구를 통해 확장성 및 실용성을 입증한다.

상세 분석

In situ TensorView는 과학 시각화 분야에서 검증된 ParaView‑Catalyst 파이프라인을 딥러닝에 적용한 최초의 시도 중 하나로, 기존의 사후 분석 방식과 달리 학습 루프 내부에서 직접 데이터를 추출·전송한다는 점에서 혁신적이다. 구현은 ‘loosely coupled’ 방식을 채택해 TensorFlow 코드에 몇 줄의 어댑터만 삽입하면 되며, 이는 기존 모델의 구조나 성능에 영향을 주지 않는다. 핵심은 두 종류의 데이터를 실시간으로 스트리밍한다는 점이다. 첫째, 각 레이어의 가중치 텐서는 VTK 폴리곤 형태로 변환돼 파라미터 공간에서의 이동 경로(예: PCA 기반 2‑D 투영)를 시각화한다. 이를 통해 학습 초기에 급격한 변동, 수렴 단계에서의 미세 조정, 혹은 그래디언트 소실·폭발 현상을 시각적으로 감지할 수 있다. 둘째, 활성화(피처맵)는 이미지 그리드와 분포 그리드 형태로 동시에 보여지며, 색상·투명도 매핑을 통해 뉴런 간 유사도와 클러스터링 패턴을 파악한다. 특히, 동일 배치에 대한 여러 샘플의 활성화를 겹쳐 보여줌으로써 특정 필터가 어떤 입력 패턴에 민감한지, 혹은 중복된 필터가 존재하는지를 직관적으로 판단한다.

시각화 인터페이스는 다중 뷰어를 제공한다. ‘Weight‑grid’ 뷰는 각 필터를 격자 형태로 배열해 가중치의 스칼라 값을 색상으로 매핑하고, ‘Trajectory’ 뷰는 파라미터의 고차원 궤적을 2‑D/3‑D 공간에 투영한다. ‘Image‑grid’와 ‘Distribution‑grid’ 뷰는 활성화의 공간적 분포와 통계적 히스토그램을 동시에 제공해, 뉴런 활성화의 편향이나 과적합 징후를 빠르게 포착한다. 이러한 시각적 피드백은 하이퍼파라미터 튜닝, 네트워크 압축(예: 불필요한 필터 제거), 그리고 학습 안정성 검증에 직접 활용될 수 있다.

성능 평가에서는 LeNet‑5(MNIST)와 VGG‑16(ImageNet) 두 모델을 대상으로 실험했으며, Catalyst를 통한 데이터 전송량이 전체 학습 I/O 대비 1 % 이하로 낮아 대규모 모델에서도 실시간 시각화가 가능함을 보였다. 또한, 파라미터 수가 수천만에 달하는 VGG‑16에서도 GPU 메모리 사용량에 큰 영향을 주지 않고, ParaView 클라이언트에서 인터랙티브하게 탐색할 수 있었다.

한계점으로는 현재 구현이 TensorFlow 1.x 기반이며, PyTorch 등 다른 프레임워크에 대한 포팅이 필요하고, 시각화 대상이 주로 2‑D 이미지 데이터에 국한돼 있다는 점을 들 수 있다. 향후 연구에서는 고차원 텍스트·시계열 데이터에 대한 활성화 시각화, 그리고 자동화된 필터 중요도 평가를 위한 정량적 메트릭 연계가 기대된다.