상태ful 스트림 완전 융합 정규화‑평가 기반 최적화 이론과 구현

초록

스트림 파이프라인을 선언형 조합기로 구성하고, 이를 정규형(NbE)으로 변환해 완전 융합된 상태 머신 코드로 컴파일한다. 이론적 정규형 존재성과 고유성, zip·flat‑map 지원, 선형화와 zip‑변환을 포함한 알고리즘을 제시하고, OCaml/Scala 라이브러리 Strymonas와 C·OCaml·Scala 코드 생성기를 구현해 기존 OCaml 스트림 라이브러리보다 뛰어난 성능을 입증한다.

상세 분석

이 논문은 스트림 처리의 두 가지 전통적 딜레마—표현력과 성능—를 동시에 해결하고자 한다. 핵심 아이디어는 상태ful 코인덕티브 스트림에 대한 형식적 계산 모델을 정의하고, 그 위에 동등식 법칙을 체계화한 뒤, 모든 합성 가능한 파이프라인에 대해 고유한 정규형이 존재함을 증명하는 것이다. 정규형은 바로 융합된 상태 머신에 대응되며, 이를 얻는 과정은 정규화‑by‑Evaluation(NbE) 방식으로 구현된다.

NbE는 스트림 조합자를 의미론적으로 해석해 “값”이 아니라 코드 생성 함수로 변환하고, 이 함수를 다시 평가해 최적화된 저수준 루프를 만든다. 중요한 기술적 기여는 다음과 같다.

1. zip‑conversion: zip 연산을 제거하고 두 입력 스트림을 동기화된 상태 변수로 변환함으로써, zip이 포함된 파이프라인도 폐쇄형 루프로 컴파일 가능하게 한다.
2. 선형화(linearization): flat‑map(중첩 스트림)과 같은 비선형 연산을 선형 스트림 형태로 변환하고, 필요시 클로저 변환을 스테이징 단계에서 수행한다. 이는 중간 튜플·클로저 생성 없이 순수 while‑loop 형태를 유지한다.
3. 상태 공유 메커니즘: 사용자가 명시적으로 선언한 상태 변수는 스트림 전반에 걸쳐 공유될 수 있으며, 이는 기존 순수 함수형 스트림 라이브러리에서 불가능했던 stateful filter·stateful flat‑map을 가능하게 한다.

이론적 부분은 Coq/Agda와 같은 증명 도구를 이용해 동등식 법칙, zip‑conversion, 선형화의 정당성을 기계적으로 검증하였다. 구현 측면에서는 멀티‑스테이지 프로그래밍을 활용해 OCaml 코드 내에서 코드 생성자를 만들고, 이를 C·OCaml·Scala 백엔드로 내보낸다. 생성된 코드는 함수 호출·클로저·중간 객체가 전혀 없는 순수 루프이며, 메모리 사용량은 입력 스트림 길이에 독립적인 상수 공간이다.

성능 평가에서는 동일 파이프라인을 hand‑written C 루프와 비교했을 때 515 % 정도의 오버헤드만 보였으며, 기존 OCaml 스트림 라이브러리 대비 24배 이상의 속도 향상을 기록했다. 특히 zip·flat‑map을 동시에 사용하는 복합 파이프라인(예: 압축·해제 스트림 결합)에서도 완전 융합이 유지되어, 기존 DSL(예: StreamIt)에서 불가능했던 최적화를 달성했다.

전체적으로 이 논문은 정형화된 스트림 이론과 실용적인 라이브러리 구현을 하나의 프레임워크에 결합함으로써, 선언형 스트림 프로그래밍이 고성능 시스템 수준 코드와 동등한 효율성을 가질 수 있음을 입증한다.