합성 이미지와 무작위 인코딩을 활용한 프라이버시 보호 시선 추정

본 논문은 눈 랜드마크와 시선 벡터를 포함한 합성 눈 이미지 데이터를 이용해, 두 개의 입력 파티와 하나의 서버가 참여하는 환경에서 랜덤 인코딩 기반의 프라이버시 보호 프로토콜을 설계한다. 프로토콜은 눈 랜드마크 간 내적을 안전하게 계산해 SVR 커널 행렬을 생성하고, 이를 통해 실시간 시선 추정을 수행한다. 입력 파티와 서버는 서로의 원본 데이터를 알 수 없으며, 실험 결과 비공개 버전과 동일한 평균 각오차를 보이며 실시간 성능을 유지한다.

저자: Efe Bozkir, Ali Burak "Unal, Mete Akg"un

합성 이미지와 무작위 인코딩을 활용한 프라이버시 보호 시선 추정
본 논문은 눈 추적 기술이 인간의 주의, 행동, 생체인증 등 다양한 분야에 활용되는 반면, 눈 움직임 데이터가 개인의 의도, 피로, 스트레스 등 민감한 정보를 포함하고 있어 사회적 수용에 장애가 된다는 문제를 제기한다. 기존 연구에서는 차등 프라이버시를 적용해 노이즈를 추가했지만, 이는 시선 추정과 같은 컴퓨터 비전 작업의 정확도를 저하시킨다. 따라서 저자들은 함수‑특정 프라이버시 모델을 적용한 새로운 접근법을 제안한다. 연구는 두 개의 입력 파티(Alice와 Bob)와 하나의 서버(함수 파티)로 구성된 시나리오를 가정한다. 각 파티는 눈 랜드마크 피처(36차원)를 보유하고 있으며, 서버는 이 데이터를 직접 접근하지 못한다. 대신, 랜덤화 인코딩(Randomized Encoding, RE) 기법을 이용해 눈 랜드마크 벡터 간 내적을 암호화된 형태로 계산한다. 구체적으로, Alice는 무작위 값 r₁, r₂, r₃을 생성하고, 자신의 피처 X에 r₁을 더한 C₁, r₂·X에 r₃을 더한 C₃를 만든다. Bob도 유사하게 C₂와 C₄를 만든다. 서버는 C₁·C₂−C₃−C₄ 연산을 수행해 내적 값을 복원하고, 이를 커널 행렬 K에 채워 넣는다. K는 선형 커널뿐 아니라 다항식, RBF 커널로 변환 가능하며, 최종적으로 SVR(Support Vector Regression) 모델을 학습한다. 보안 모델은 입력 파티가 반정직(semi‑honest)이며, 서버는 악의적(malicious)이라고 가정한다. 입력 파티는 서로에게 무작위 값만 전송하므로 상대 파티의 원본 데이터를 유추할 수 없고, 서버는 오직 완전한 커널 행렬만을 얻게 된다. 논문은 Perfect RE multiplication이 의미론적으로 안전할 경우, 서버가 추가 정보를 얻을 수 없음을 정리하고, 시뮬레이션 기반 보안 증명을 제공한다. 데이터는 UnityEyes 엔진을 활용해 20,000장의 합성 눈 이미지를 생성하고, 36개의 랜드마크 피처와 시선 벡터(피치·요)를 추출한다. 실험에서는 5k, 10k, 20k 샘플 규모에 대해 5‑fold 교차 검증으로 SVR 파라미터(γ, C, ε)를 최적화하고, 최적 파라미터 하에 10회 반복 실험을 수행했다. 평가 지표는 평균 각오차(mean angular error)이며, 프라이버시 보호 프로토콜을 적용했음에도 불구하고 비공개 버전과 동일한 1.2° 이하의 오차를 기록했다. 또한 학습·예측 시간은 수백 밀리초 수준으로 실시간 적용이 가능했으며, 통신량은 O(n_f·(n_a+n_b)+n_a+n_b)·d 바이트로, 데이터 규모가 증가해도 실용적인 수준을 유지했다. 결과적으로, 본 연구는 눈 랜드마크 기반 시선 추정에 특화된 함수‑특정 프라이버시 보호 프레임워크를 성공적으로 구현했으며, 차등 프라이버시가 초래하는 정확도 저하 없이 개인정보 보호를 달성했다는 점에서 의의가 크다. 다만, 합성 데이터에만 의존하고 실제 눈 이미지와의 도메인 차이를 고려하지 않은 점, 그리고 다중 파티 확장성에 대한 논의가 부족한 점은 향후 연구에서 보완되어야 할 과제로 남는다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기