효율적인 시공간 어텐션·선형 LSTM 기반 연속 차선 검출 네트워크

초록

본 논문은 연속 이미지 프레임을 입력으로 받아 차선을 세그멘테이션하는 모델을 제안한다. UNet 기반 인코더‑디코더 구조에 시공간 어텐션 모듈과 경량형 Linear LSTM을 삽입해 중요한 프레임·영역을 강조하고, 시간적 상관관계를 효율적으로 학습한다. 세 가지 어텐션 변형(T‑Att, ST‑Att, STFC‑Att)을 비교 실험했으며, 세 개의 대규모 공개 데이터셋에서 기존 최첨단 방법들을 능가하면서 파라미터와 MACs를 크게 감소시켰다.

상세 분석

이 연구는 차선 검출을 단일 이미지가 아닌 연속 프레임 시퀀스로 다루는 점에서 기존 CNN‑기반 방법과 차별화된다. 핵심 기여는 (1) 시공간 어텐션 메커니즘의 설계, (2) 경량 Linear LSTM을 활용한 시간적 특징 추출, (3) UNet 백본에 모듈형 어텐션을 삽입해 다양한 네트워크와 호환 가능하도록 만든 점이다.

시공간 어텐션은 인코더에서 추출된 다중 프레임 특징 맵을 입력으로 받아, 각 프레임·공간 위치에 대한 가중치를 학습한다. 구체적으로, 현재 프레임 특징 Fₜ와 이전 LSTM 은닉 상태 hₜ₋₁을 1×1 컨볼루션으로 변환한 뒤, 가중치 V_i, V_h, V_a 로 스케일링하고 element‑wise 합산한다. Softmax를 통해 정규화된 어텐션 가중치 αₜ를 얻고, 이를 특징 맵에 곱해 중요한 영역을 강조한다. 이 과정을 거친 후, 가중합된 특징을 Linear LSTM에 전달해 시간적 의존성을 모델링한다.

Linear LSTM은 전통 LSTM의 복잡한 게이트 연산을 단순화해 파라미터 수와 연산량을 크게 줄였다. 논문에서는 LSTM 대신 GRU도 실험했으며, 성능 차이는 미미했지만 Linear LSTM이 가장 효율적이었다.

세 가지 어텐션 변형은 설계 의도에 따라 차이를 보인다. Temporal Attention(T‑Att)은 프레임 간 중요도만을 학습해 계산량이 가장 낮다. Spatial‑Temporal Attention(ST‑Att)은 프레임뿐 아니라 공간 위치까지 가중치를 부여해 정밀도가 향상된다. 마지막으로 Fully‑Connected 기반 STFC‑Att은 1×1 컨볼루션 대신 완전 연결 층을 사용해 비선형 변환 능력을 강화했지만, 파라미터가 다소 증가한다.

실험에서는 CULane, TuSimple, 그리고 BDD100K 세 데이터셋을 사용해 F1‑score, IoU, 그리고 FPS를 측정했다. 모든 데이터셋에서 ST‑Att이 가장 높은 정확도를 기록했으며, 특히 악천후·차선 가림 상황에서 기존 Transformer‑기반 혹은 순수 CNN‑RNN 모델보다 3~5% 높은 F1을 보였다. 파라미터 수는 기본 UNet‑LSTM 대비 27% 감소했으며, MACs는 31% 절감돼 실시간(≥30 FPS) 적용이 가능하다.

한계점으로는 (i) 어텐션 모듈이 인코더‑디코더 사이에 고정돼 있어, 백본을 교체할 경우 재학습이 필요하고, (ii) 라벨이 없는 프레임에 대한 자기지도 학습이 포함되지 않아 데이터 효율성이 다소 낮다. 또한, Linear LSTM의 단순화가 장기 의존성 학습에 제한을 줄 수 있다는 점이 추후 연구 과제로 남는다.

전반적으로 이 논문은 시공간 어텐션을 통해 차선 검출의 정확도와 연산 효율성을 동시에 개선한 점이 가장 큰 강점이며, 모듈형 설계 덕분에 다양한 자율주행 파이프라인에 쉽게 통합될 수 있다.