스트림 데이터에 대한 머신 러닝을 수행하면 정적 데이터에 대해 겪는 것보다 추가적인 도전이 발생합니다. 이러한 도전은 오버피팅, 피처 엔지니어링, 모델 평가, 데이터 파이프라인 엔지니어링 등이 포함됩니다. 이 문제들은 스트림 데이터의 동적 성격으로 인해 더욱 복잡해집니다.

다음에서는 시간 시리즈 머신 러닝에서 발생하는 여러 문제와 DataFlow가 이러한 문제들을 어떻게 해결하는지를 나열합니다.

프로토타입 vs 생산

데이터 과학자들은 모든 데이터가 잘 조직된 데이터프레임 형식으로 사용 가능하다는 가정 하에 작업을 진행합니다. 따라서 그들은 종종 데이터의 시간적 정렬에 대한 가정을 기반으로 프로토타입을 개발합니다. 이 프로토타입은 더 복잡하고 정확한 프레임워크에서 모델을 재작성함으로써 생산 시스템으로 전환됩니다. 이 과정에서는 다른 프로그래밍 언어를 사용하거나 다른 팀이 번역 작업을 담당할 수 있습니다. 그러나 이러한 접근 방식은 다음과 같은 문제점을 초래할 수 있습니다:

• 프로토타입의 생산 환경 전환에는 시간과 노력이 필요합니다.
• 번역 과정에서 프로토타입에 버그가 발견될 수 있습니다.
• 프로토타입 단계에서 제기된 가정은 실제 조건과 일치하지 않을 수 있습니다.
• 두 모델 간의 불일치는 비교를 위해 별도의 두 개의 모델을 구현하고 유지 관리하는 추가 작업이 필요할 수 있습니다.

DataFlow는 시스템을 방향성 비순환 그래프(DAG)로 구성하여 실시간 시스템에서 일반적으로 사용되는 데이터 흐름 및 반응형 모델과 자연스럽게 일치합니다. 그래프 내의 각 노드에는 데이터 과학자가 스트리밍이 아닌 시스템을 설계할 때와 유사하게 절차적 문장들이 포함되어 있습니다.

DataFlow는 모델 코드를 수정하지 않고 배치 및 스트림 모드 모두에서 모델을 실행할 수 있게 합니다. 배치 모드에서는 데이터를 한 번에 처리하거나 세그먼트로 나누어 처리하여 역사적 또는 배치 처리에 적합합니다. 스트림 모드에서는 데이터가 모델에 제공될 때 그래프가 실행되어 실시간 데이터 처리를 지원합니다.

모델 작동 빈도

모델의 작업이 필요한 빈도는 종종 배포 후에야 명확해집니다. 시간과 메모리 요구 사항을 지연 및 톱니바퀴 처리와 균형을 맞추기 위해 조정해야 하는 경우, 이는 생산 시스템 구현 변경을 필요로 하며 추가적인 엔지니어링 노력이 발생할 수 있습니다.

DataFlow는 단순히 계산 타일의 크기를 조정함으로써 동일한 모델 설명을 다양한 빈도에서 작동하도록 합니다. 이 유연성은 어떤 모델 수정도 필요하지 않으며 애플리케이션이 요청하는 최적의 빈도로 항상 실행할 수 있게 합니다.

비정상성 시간 시리즈

정상성 가정은 물리학이나 수학과 같은 이론적인 분야에서는 유용하나, 실용적인 실제 응용에서는 거의 유효하지 않습니다. 데이터 과학자들은 샘플 외의 데이터에서 성능이 저조한 이유를 설명하기 위해 데이터 드리프트를 이상으로 언급하는 경우가 많습니다. 그러나 실제로는 데이터 드리프트가 표준입니다.

DataFlow의 모든 구성 요소, 특히 데이터 저장소, 계산 엔진 및 배포는 기본적으로 시간 시리즈 처리에 맞게 설계되었습니다. 각각의 시간 시리즈는 단변량 또는 다변량(패널 데이터 등)이며 데이터프레임 형식으로 표현됩니다. DataFlow는 모델이 지속적으로 학습하고 예측하도록 하여 비정상성 문제를 해결합니다. 이를 위해 특정 검색 기간 또는 샘플 가중치 스키마가 사용되며 이러한 매개변수들은 시스템의 하이퍼파라미터로 간주되어 다른 하이퍼파라미터와 마찬가지로 조정할 수 있습니다.

비인과적 버그

데이터 과학자가 데이터 타임스탬프에 대해 잘못된 가정을 하는 경우 일반적이며 어려운 문제가 발생합니다. 이 문제는 모델이 미래 정보를 우연히 사용하는 “미래 침입"이라고도 불립니다. 이러한 잘못된 가정을 기반으로 모델이 개발, 검증 및 조정됩니다. 그러나 시스템이 생산 환경에 배포되어야만 이러한 오류가 식별되는 경우가 많습니다. 이는 데이터 과학자가 비인과성의 존재를 확인하기 위한 독립적인 초기 평가가 부족한 결과입니다.

[그림 1]은 이 버그 패턴의 구체적인 예를 설명합니다.

# 내일의 가격을 사용!
df['signal'] = df['price'].shift(-1)

# 시간 t에서 이것은
# 시간 t+1의 가격에 액세스합니다.

# 어제의 가격을 사용합니다.
df['signal'] = df['price'].shift(1)

# 시간 t에서 이것은
# 시간 t-1의 가격에 액세스합니다.

DataFlow는 정확한 시간 관리 기능을 제공합니다. 각 구성 요소는 입력 및 출력에서 데이터가 사용 가능해지는 시점을 자동으로 모니터링하여 미래 침입 버그를 쉽게 식별할 수 있습니다. 이로 인해 잘못된 방식으로 미래의 데이터를 사용하는 것이 인과성을 위반하게 됩니다. DataFlow는 모델이 엄격한 인과성에 따라 작동하는 한, 데이터가 어떻게 제공되더라도 일관된 모델 실행을 보장합니다. 테스트 프레임워크는 배치 및 스트림 결과를 비교하여 개발 과정에서 어떤 인과성 문제도 조기에 탐지할 수 있게 합니다.

정확한 역사적 시뮬레이션

시간 시리즈 데이터를 처리하는 시스템의 성능을 평가하기 위해 정확한 시뮬레이션을 구현하는 것은 매우 어려울 수 있습니다. 이상적으로는 시뮬레이션이 시스템이 생산 환경에서 사용할 설정을 정확히 재현해야 합니다. 예를 들어, 과거 데이터에 기반하여 거래 모델의 손익 곡선을 계산하려면 해당 순간에만 사용 가능한 정보로 거래를 계산하고 실제 발생했을 때와 동일한 시점에서 시뮬레이션되어야 합니다.

그러나 데이터 과학자들은 종종 프로토타입과 함께 자체적인 단순화된 시뮬레이션 프레임워크를 생성합니다. 다양한 학습, 검증 및 테스트 스타일(예: 샘플 내만 사용, 교차 검증)을 결합하면 롤링 윈도우와 확장 윈도우와 같은 통과 시뮬레이션이 복잡한 기능 매트릭스를 필요로 하며 이들에 대한 단위 테스트 및 유지 관리가 필요합니다.

DataFlow는 이러한 구성 요소들을 한 번에 프레임워크 내부에서 통합하여 과정을 간소화하고 디자인 단계에서 상세한 시뮬레이션을 실행할 수 있게 합니다. DataFlow는 다양한 학습 스타일(예: 샘플 내만 사용, 샘플 내 대비 샘플 외, 롤링 학습, 교차 검증)과 함께

프로덕션 시스템 디버깅

다음 활동들은 프로덕션 시스템을 시뮬레이션과 비교하는 중요성을 강조합니다:

• 품질 평가: 설계 단계에서 이루어진 가정을 평가하여 모델이 실시간 및 역사적 데이터에 대해 일관되게 수행되는지 확인합니다. 이 과정은 종종 “연구 및 생산 모델 간의 조정"이라고도 불립니다.

• 모델 평가: 실제 조건 변화에 대한 모델 반응을 평가합니다. 예를 들어, 예상보다 1초 늦게 도착한 데이터의 영향을 이해하는 것과 같이.

• 디버깅: 프로덕션 시스템은 가끔 실패하고 오프라인 디버깅이 필요합니다. 내부 노드에서 값을 추출하여 실패를 식별하고 해결하기 위해 프로덕션 모델을 트러블슈팅합니다.

많은 엔지니어링 설정에서는 이러한 분석을 수행하는 체계적인 접근 방식이 없습니다. 결과적으로 데이터 과학자와 엔지니어들은 비용이 많이 드는 비표준 방법을 사용하여 모델을 비교해야 합니다.

DataFlow는 모델의 가시성과 디버그 가능성을 해결하기 위해 노드의 일부 집합에 대한 실행을 캡처하고 재생할 수 있게 쉽게 제공합니다. 이를 통해 복잡한 시스템의 동작을 쉽게 관찰하고 디버깅할 수 있습니다. 이는 연구 및 생산 시스템이 동일하며 시뮬레이션 커널의 정확한 타이밍 의미론으로부터 자연스럽게 발생합니다.

모델 성능

연구 및 프로덕션 시스템의 성능은 다양한 트레이드오프(예: 메모리에 맞추기, 처리량 최대화, 지연 시간 최소화)를 완수하기 위해 조정되어야 합니다.

DataFlow는 다음과 같은 여러 기술을 통해 모델 성능 및 그 트레이드오프를 해결합니다:

• 타일링. DataFlow의 프레임워크는 스트림 데이터에 대해 다양한 타일링 스타일(예: 시간에 따라, 피처에 따라 그리고 둘 다)을 지원하여 주어진 계산에 필요한 작업 메모리 양을 최소화하고 계산 캐싱의 가능성을 증가시킵니다.
• 증분적 계산 및 캐싱. DataFlow는 노드 간 의존성을 명시적으로 추적하므로 입력 또는 구현 코드의 변경이 있는 노드만 재계산되고 불필요한 계산은 자동으로 캐싱됩니다.
• 최대 병렬 처리량. 계산이 DAG로 표현되므로 DataFlow 실행 스케줄러는 최대 수준의 병렬성을 추출하고 분산 방식으로 여러 노드를 동시에 실행하여 지연 시간을 최소화하고 처리량을 최대화합니다.
• 자동 벡터화. DataFlow 노드는 numpy 및 Pandas에서 사용 가능한 모든 원시 벡터화 접근법을 활용할 수 있습니다.

매개변수 분석 수행

트랙킹과 스윕 매개변수는 머신 러닝 프로젝트에서 일반적인 도전 과제입니다:

• 연구 단계에서는 데이터 과학자가 매개변수 공간을 탐색하기 위해 수많은 시뮬레이션을 수행합니다. 이러한 매개변수 스윕을 체계적으로 지정하고 추적하는 것이 중요합니다.
• 모델이 최종화되면 모델 매개변수가 고정되어야 하며 이 매개변수는 프로덕션 시스템과 함께 배포되어야 합니다.

DataFlow 시스템에서는 여러 매개변수를 조정하여 디자인 공간을 포괄적으로 탐색하기 위한 DAG 변형을 생성하는 데 매우 쉽습니다.

• 각 매개변수는 구성 내에서 특정 값에 의해 관리됩니다. 이는 구성 공간이 DataFlow 시스템의 공간과 동일하다는 것을 의미합니다: 각 구성은 독특하게 DataFlow 시스템을 정의하고, 각 DataFlow 시스템은 구성으로 완전히 설명됩니다.
• 구성은 DAG 구조를 반영하는 중첩된 사전 형식으로 조직되어 있어 구조를 쉽게 탐색할 수 있습니다.

시간 시리즈 MLOps의 도전 과제

기계 학습 운영(MLOps)의 복잡성은 프로덕션 환경에서 ML 모델의 전체 라이프사이클을 관리하는 것에 기인합니다. 이는 훈련 및 평가뿐만 아니라 배포, 모니터링, 감사까지 포함됩니다.

DataFlow는 MLOps 도전 과제를 프레임워크 내부에서 완전히 통합하여 해결합니다.

• 모델 직렬화. DAG가 조정되면 디스크에 저장될 수 있습니다. 이 직렬화된 모델은 나중에 로드되어 생산 환경에서 예측을 생성하는 데 사용됩니다.
• 배포 및 모니터링. 모든 DataFlow 시스템은 Docker 컨테이너로 배포할 수 있으며, 개발 시스템도 Docker 컨테이너 내에서 운영됩니다. 이 설정은 클라우드 플랫폼(예: AWS)과 로컬 머신에서 시스템의 개발 및 테스트를 용이하게 합니다. Airflow는 장기적인 DataFlow 시스템을 스케줄링하고 모니터링하는 데 내장되어 사용됩니다.

실행 엔진

그래프 계산

DataFlow 모델

DataFlow 모델은 DataFlow 노드로 구성된 방향성 비순환 그래프입니다. 이는 연결, 구조 쿼리…

DAG의 메서드를 실행하는 것은 DAG의 모든 노드에 대해 위상 순서로 해당 메서드를 실행하고 값이 DAG 노드를 통해 전파되는 것을 의미합니다.

TODO(Paul, Samarth): 이미지 추가.

DagConfig

Dag은 노드 연결성을 나타내는 함수와 Config에 포함된 매개변수를 사용하여 노드들을 조립함으로써 생성될 수 있습니다(예: DagBuilder.get_dag(config) 호출을 통해).

DagConfig는 계층적이고 각 DAG 노드당 하위 구성이 하나씩 포함됩니다. 이 구성에는 Dag 노드 구성 매개변수만 포함해야 하며, Dag 연결성에 대한 정보는 DagBuilder 부분에서 지정되어야 합니다.