속성 시퀀스 임베딩을 위한 다중모달 딥러닝 프레임워크 NAS

본 논문은 “속성 시퀀스(Attributed Sequence)”라는 새로운 데이터 형태를 정의하고, 이를 무라벨 환경에서 효과적으로 임베딩하는 방법을 제시한다. 속성 시퀀스는 (1) 가변 길이의 범주형 아이템 시퀀스와 (2) 고정된 메타데이터 속성 집합을 동시에 포함한다. 이러한 데이터는 클릭스트림, 구매 이력, 유전자 서열 등 다양한 도메인에서 흔히 관찰되며, 기존 시퀀스 임베딩 연구는 아이템 순서만을 고려해 왔기 때문에 속성‑시퀀스 간의 복합 의존성을 포착하지 못한다. 논문은 속성 시퀀스가 가지고 있는 세 가지 의존성을 강조한다. 첫째, 아이템 간 의존성(시퀀스 내부의 순서적 관계); 둘째, 속성 간 의존성(속성들 사이의 상관관계); 셋째, 속성‑시퀀스 의존성(특정 속성 값이 시퀀스 내 아이템 전이 확률에 미치는 영향). 이러한 의존성을 모두 모델링해야만 의미 있는 고정 길이 임베딩을 얻을 수 있다. 이를 위해 저자들은 “NAS”(Network for Attributed Sequences)라는 두 단계의 딥러닝 프레임워크를 설계한다. 1) **속성 네트워크**: 고차원 희소 속성 벡터 x_k ∈ ℝ^u 를 입력으로 받아, 인코더‑디코더 구조의 완전 연결 신경망(FCNN)으로 압축한다. 인코더는 x_k 를 d_M 차원의 잠재 표현 V(M)_k 로 변환하고, 디코더는 이를 다시 원본 차원으로 복원해 c_x_k 를 생성한다. 손실 함수 L_A = ||x_k – c_x_k||²_2 를 최소화함으로써 속성 간 의존성을 학습한다. 2) **시퀀스 네트워크**: 변형 LSTM을 사용해 아이템 시퀀스를 처리한다. 기존 LSTM의 입력 게이트, 포겟 게이트, 출력 게이트는 그대로 유지하면서, 초기 은닉 상태 h(1)_k 에 속성 네트워크의 최종 인코딩 V(M)_k 를 더한다( h(t)_k = o(t)_k ⊙ tanh(c(t)_k) + 1_{t=1}·V(M)_k ). 이렇게 하면 속성 정보가 시퀀스 전파 과정에 직접 반영되어 속성‑시퀀스 의존성을 학습한다. 각 타임스텝에서는 다음 아이템을 예측하도록 소프트맥스 출력 y(t)_k 를 생성하고, 교차 엔트로피 손실 L_S = –∑_{t} α(t)_k·log y(t)_k 로 최적화한다. 두 네트워크는 동일한 은닉 차원(d_M = d)으로 설계되어 파라미터 공유와 효율적인 정보 교환이 가능하다. 학습은 무라벨 상황에서도 자체 지도(self‑supervised) 방식으로 진행되며, 속성 재구성과 다음 아이템 예측이라는 두 가지 목표를 동시에 최소화한다. 학습이 완료된 후, 각 속성 시퀀스 J_k = (x_k, S_k)의 임베딩은 시퀀스 네트워크의 최종 셀 상태 c(l_k)_k 로 정의한다. 이 벡터는 아이템 순서, 속성 값, 그리고 그들 간의 상호작용을 모두 내포하고 있어, 이후 클러스터링, 이상 탐지, 유사도 검색 등 다양한 비지도 분석에 바로 활용할 수 있다. **실험**에서는 네 개의 실제 데이터셋을 사용했다. 두 개는 Amadeus 기업 로그(AMS‑A/B)로, 164k 레코드와 288개의 기능 아이템, 57k 개의 프로파일 속성을 포함한다. 다른 두 개는 위키스페디아 경로 데이터(WIKI‑A/B)로, 약 3.5k 경로와 11개의 페이지 메타데이터 속성을 포함한다. 비교 대상으로는 속성만 사용한 LEN, 시퀀스만 사용한 MCC·SEQ, 속성 전용 ATR, 속성·시퀀스 독립 임베딩을 결합한 CSA·EML 등을 포함하였다. 평가 지표는 주로 이상 탐지 정확도와 AUC이며, NAS는 모든 데이터셋에서 기존 방법들을 크게 앞섰다. 특히 사기 탐지 시나리오에서 속성‑시퀀스 의존성을 무시한 단일 모달 모델은 중요한 이상치를 놓쳤지만, NAS는 통합 임베딩 덕분에 해당 이상치를 정확히 식별했다. 또한 논문은 모델 설계 시 고려해야 할 실용적인 팁을 제공한다. (1) 속성·시퀀스 네트워크의 은닉 차원을 동일하게 맞춤으로써 정보 흐름을 원활히 함; (2) 무라벨 학습을 위해 다음 아이템 예측이라는 자체 지도 신호를 활용; (3) 가중치 초기화(균등, 정규 직교)와 정규화 손실을 통해 과적합 방지 및 안정적 수렴 확보. 결론적으로, NAS는 속성 시퀀스라는 새로운 데이터 유형에 대한 포괄적이고 효율적인 임베딩 프레임워크를 제공한다. 이는 기존 단일 모달 임베딩의 한계를 극복하고, 라벨이 부족한 현실 세계 데이터에 적용 가능한 강력한 비지도 학습 도구로서의 가치를 입증한다.