컨볼루션·디컨볼루션 기반 장문 텍스트 표현 학습

초록

본 논문은 RNN 기반 디코더가 길이가 늘어날수록 재구성 품질이 떨어지는 문제를 해결하고자, 순수하게 컨볼루션 인코더와 디컨볼루션 디코더로 구성된 시퀀스‑투‑시퀀스 자동인코더를 제안한다. 입력 문장을 임베딩 행렬로 변환한 뒤 다층 CNN으로 압축하고, 전치 컨볼루션을 이용해 원본 임베딩을 복원한다. 코사인 유사도 기반 손실과 온도 파라미터를 활용해 단어 예측을 수행한다. 제안 모델은 병렬 연산 효율이 높고, 긴 문단에서도 노출 편향(exposure bias) 없이 높은 재구성 정확도를 보이며, 반지도 학습(classification, summarization)에서도 RNN 대비 우수한 성능을 기록한다.

상세 분석

이 연구는 텍스트 표현 학습에서 가장 큰 병목 중 하나인 ‘노출 편향’과 ‘교사 강제(teacher forcing)’ 문제를 근본적으로 회피한다는 점에서 의미가 크다. 기존 RNN‑기반 자동인코더는 디코더가 이전에 생성한 토큰에 의존하기 때문에, 초기 작은 오류가 시퀀스 전체에 누적돼 긴 문장을 재구성할 때 급격히 품질이 저하된다. 반면, 제안된 구조는 인코더와 디코더가 모두 컨볼루션 연산만을 사용한다. 인코더는 여러 층의 1‑D 컨볼루션과 스트라이드 다운샘플링을 통해 입력 문장을 고정 차원의 벡터 h 로 압축하고, 마지막 전결합 층에서 공간 차원을 완전히 제거한다. 이 과정에서 필터는 h‑그램 수준의 로컬 패턴부터 점차 높은 수준의 의미·구문 정보를 학습한다. 디코더는 전치 컨볼루션(transposed convolution)으로 h 를 점진적으로 확대해 원본 임베딩 행렬 ˆX 를 복원한다. 복원 단계에서는 각 열을 정규화하고, 코사인 유사도 기반 소프트맥스를 통해 단어 확률을 계산한다. 손실 함수는 단순히 단어 수준 로그우도이며, 온도 파라미터 τ=0.01을 도입해 확률 분포를 매우 뾰족하게 만든다. 이 설계는 RNN이 필요로 하는 순차적 의존성을 없애고, GPU에서 cuDNN 최적화된 2‑D 컨볼루션 연산을 그대로 활용함으로써 메모리 사용량과 연산 시간을 크게 절감한다. 또한, 모델은 입력 길이에 무관하게 고정 차원의 h 를 생성하므로, 긴 문단에서도 정보 손실이 최소화된다. 반지도 학습 설정에서는 자동인코더 손실과 지도 손실을 α라는 스케줄링 파라미터로 가중합한다. 초기에는 자동인코더에 집중해 일반적인 텍스트 특성을 학습하고, 점차 α를 감소시켜 지도 태스크(분류 혹은 요약)에 맞는 특징을 정제한다. 실험 결과, 동일 파라미터 규모의 LSTM 기반 자동인코더 대비 재구성 정확도가 현저히 높으며, 반지도 분류와 요약에서도 F1·ROUGE 점수가 개선된다. 전체적으로, 이 논문은 ‘CNN‑only’ 텍스트 인코더‑디코더가 장문 처리와 반지도 학습에 있어 실용적이고 효율적인 대안이 될 수 있음을 실증한다.