선형 변환의 어드조인트 불일치 계산

초록

본 논문은 두 선형 변환 A와 V의 차이 ‖A−V‖ 를, A는 전방 연산만, V는 어드조인트 연산만을 블랙박스로 사용할 수 있는 상황에서, 저장량 O(max{m,d}) 로 근사하는 확률적 알고리즘을 제시하고, 거의 확실히 수렴함을 증명한다.

상세 분석

이 연구는 실제 대규모 영상 복원·CT와 같이 전방 연산과 역연산이 별도 구현된 경우, 두 연산이 정확히 어드조인트 관계에 있지 않을 때 발생하는 “어드조인트 불일치”를 정량화하는 문제에 초점을 맞춘다. 기존의 특이값·전력법은 L*를 필요로 하므로 블랙박스 제약에 부합하지 않으며, 메모리 요구량이 O(md) 로 현실적인 대규모 문제에 적용하기 어렵다. 저자들은 ‖A−V‖ = max_{‖u‖=‖v‖=1} ⟨u,(A−V)v⟩ 로 표현하고, 이를 두 개의 독립적인 구면 샘플 x_k∈T_{v_k}S^{d-1}, w_k∈T_{u_k}S^{m-1} 로 확장한 뒤, 스칼라 파라미터 τ,ξ 를 최적화하는 2차원 비선형 함수 q_k(τ,ξ) 를 도입한다. q_k는 a_k,b_k,c_k,d_k 로 정의된 4개의 내적 계수를 이용해 q_k(τ,ξ)=a_k+b_kτ+c_kξ+d_kτξ /√{(1+τ^2)(1+ξ^2)} 형태가 된다. 저자는 이 함수의 1차 최적조건을 풀어 τ_k, ξ_k 의 폐쇄형 해를 얻으며, 이는 기존의 라인 서치보다 더 효율적인 “최적 단계 크기”를 제공한다. 중요한 점은 τ_k, ξ_k 가 거의 확실히 존재하고, q_k(τ_k,ξ_k) 가 비음수이며, 반복 과정에서 목표값이 단조 증가한다는 점이다. 수렴 증명은 마르코프 체인과 슈워츠 불평등을 이용해 거의 확실히 (a.s.) ‖A−V‖ 로 수렴함을 보이며, 또한 수렴 속도는 a_k^2+c_k^2 와 b_k^2+d_k^2 의 차이에 의해 결정되는 일종의 스펙트럼 갭에 의존한다. 알고리즘은 매 반복마다 두 개의 정규분포 샘플을 생성하고, 정규화된 탐색 방향을 만든 뒤, 위에서 유도한 폐쇄형 식으로 τ_k, ξ_k 를 계산하고, u_{k+1}, v_{k+1} 를 정규화한다. 저장 요구량은 현재의 u_k, v_k, w_k, x_k 네 개의 벡터뿐이며, 이는 O(max{m,d}) 로 최소한의 메모리 사용을 의미한다. 또한, 최적화 과정에서 얻어지는 (u_k, v_k) 쌍은 차이 연산 A−V 의 최대 특이값에 대응하는 좌·우 특이벡터에 수렴하므로, 단일값 외에도 추가적인 특이벡터를 확장된 버전으로 추출할 수 있다. 실험에서는 V=0 인 경우 기존 문헌