통합 로봇 동작·인식·신뢰도 추정을 위한 클래스‑임베딩 예측코딩 RNN, CERNet

초록

CERNet은 클래스 임베딩 벡터를 동적으로 업데이트하는 계층형 예측코딩 RNN으로, 하나의 네트워크 안에서 실시간 동작 생성, 동작 클래스 인식, 그리고 내부 예측 오차를 이용한 신뢰도 추정을 동시에 수행한다. 26개의 알파벳 궤적을 학습한 인간형 로봇 실험에서 기존 단층 모델 대비 76 % 낮은 재현 오차와 68 % Top‑1, 81 % Top‑2 인식 정확도를 달성했으며, 외부 교란에도 궤적을 복구한다.

상세 분석

본 논문은 로봇이 인간과 협업하기 위해 필수적인 “생성‑인식‑신뢰도” 3가지 기능을 하나의 폐쇄형 네트워크에 통합하려는 시도를 상세히 제시한다. 핵심 아이디어는 예측코딩(Predictive Coding) 프레임워크에 클래스 임베딩 C∈ℝ^K 를 삽입하고, 이를 상위 계층의 토폴로지에 직접 결합함으로써 클래스‑특정 서브스페이스를 형성한다는 점이다. 학습 단계에서는 전통적인 변분 자유 에너지 최소화 손실 L_PE 를 사용해 가중치와 바이어스를 최적화하고, 각 층의 prior/posterior 상태를 시간 상수 τ와 학습률 α에 의해 점진적으로 조정한다.

생성 모드에서는 고정된 C를 입력해 top‑down 예측을 수행하고, 실시간으로 관측값과의 오차 ε_t 를 bottom‑up으로 전파해 내부 상태를 보정한다. 이 과정에서 예측 오차가 외부 힘이나 센서 노이즈에 의해 발생하면, 계층적 피드백 루프가 즉시 오류를 감지하고 hidden state를 수정해 궤적을 복구한다는 점에서 강인성을 확보한다.

인식 모드에서는 관측된 궤적에 대해 C를 미분 가능한 파라미터로 취급하고, 슬라이딩 윈도우 W 내에서 누적된 예측 오차를 최소화하도록 gradient descent 를 수행한다(식 10). 이 “past reconstruction” 절차는 C가 점차 관측된 동작에 가장 부합하는 클래스‑특정 서브스페이스로 수렴하도록 만든다. 중요한 점은 C 업데이트가 별도의 분류기 없이도 내부 오류 신호만으로 이루어진다; 따라서 신뢰도는 ε_t 의 크기와 분산으로 직접 추정 가능하다.

실험은 7 DoF 인간형 로봇 Reachy 를 이용해 26개의 알파벳 궤적을 kinesthetic teaching 으로 수집하고, 계층 3‑layer PC‑RNN (총 파라미터 ≈ 1.2 M)과 파라미터‑동등한 단층 LSTM baseline 를 비교한다. 결과는 다음과 같다. (1) 재현 오차 RMSE 기준 0.018 m vs 0.077 m, 즉 76 % 감소. (2) 외부 교란(무게 200 g 부착, 급격한 외부 힘) 상황에서도 0.025 m 이하의 오차로 복구. (3) 온라인 인식 정확도는 Top‑1 68 %, Top‑2 81 % 로, 특히 초기 30 % 관측만으로도 55 % 이상의 정확도를 보였다. (4) 예측 오차 평균값과 표준편차를 이용한 신뢰도 지표가 실제 인식 성공률과 높은 상관관계(ρ=0.73)를 나타냈다.

기술적 강점은 (i) 계층적 시간 상수 τ를 통해 장기 의도와 단기 운동 세부를 동시에 모델링, (ii) 동일한 오류 최소화 메커니즘이 생성·인식·신뢰도 추정에 일관되게 적용돼 시스템 복잡도가 크게 감소, (iii) 실제 로봇 하드웨어에서 실시간 20 Hz 제어 주기로 동작한다는 실증적 검증. 반면 한계점도 존재한다. 첫째, 클래스 임베딩이 one‑hot 형태이므로 새로운 클래스를 추가하려면 전체 네트워크 재학습이 필요하다; 연속적인 클래스 공간(예: 임베딩 레이어)으로 확장하면 지속학습이 가능할 것이다. 둘째, 현재는 3‑차원 위치 정보만 사용했으며, 관절 토크나 촉각 피드백을 포함하면 더 풍부한 의도 추정이 가능할 것으로 보인다. 셋째, 학습 데이터가 26개의 알파벳이라는 비교적 작은 집합에 국한돼 있어, 복잡한 다중 자유도 동작(예: 물체 조작)으로 일반화되는지 추가 검증이 필요하다.

향후 연구 방향으로는 (1) 클래스 임베딩을 연속적인 베이지안 잠재 변수로 전환해 지속적 클래스 확장 및 메타‑러닝 적용, (2) 멀티모달 센서(시각, 촉각)와의 통합을 통해 인간 의도 추정 정확도 향상, (3) 강화학습 기반의 목표‑지향 제어와 결합해 예측오차를 보상 신호로 활용하는 방법, (4) 대규모 클라우드 기반 시뮬레이션을 통한 파라미터 스케일링 및 실시간 최적화 알고리즘 연구 등을 제시한다. 전반적으로 CERNet은 예측코딩 이론을 로봇 제어에 실용적으로 적용한 첫 사례 중 하나이며, 통합형 로봇 메모리·인식·자기‑신뢰도 메커니즘을 구현한 점에서 학술 및 산업적 파급 효과가 클 것으로 기대된다.