부분 피드백 온라인 학습의 이론적 한계와 가능성

초록

본 논문은 각 예시마다 여러 정답 라벨이 존재하지만 매 라운드마다 하나의 정답 라벨만 관찰되는 “부분 피드백 온라인 학습” 문제를 정의하고, 기존 버전 스페이스가 적용되지 못하는 난점을 해결하기 위해 컬렉션 버전 스페이스를 도입한다. 이를 기반으로 Partial‑Feedback Littlestone dimension (PFLdim) 과 Partial‑Feedback Measure Shattering dimension (PMSdim) 을 정의하고, 각각 결정론적 학습자와 무작위 학습자에 대한 최소극대 regret을 정확히 특성화한다. 또한 허용 라벨 집합이 중첩 포함 속성을 만족할 때 결정론적·무작위 학습 가능성이 일치함을 보이며, 집합‑실현 가능성을 넘어서는 경우 |H|=2 일 때도 선형 regret이 발생할 수 있음을 보여준다.

상세 분석

이 논문은 온라인 학습에서 “부분 피드백”이라는 새로운 정보 제한 모델을 제시한다. 전통적인 온라인 분류에서는 매 라운드마다 정답 라벨이 명시적으로 제공되지만, 여기서는 각 입력 xₜ에 대해 허용 라벨 집합 Sₜ⊆Y가 사전에 정해져 있고, 학습자는 그 집합 안에 있는 라벨 중 하나인 y_visₜ만 관찰한다. 중요한 점은 학습자가 자신의 예측 ˆyₜ가 Sₜ에 포함됐는지 여부를 전혀 알 수 없으며, 전체 라벨 집합 Sₜ 자체도 라운드가 끝날 때까지 숨겨진다는 점이다. 이러한 설정은 기존의 버전 스페이스(가능한 가설들의 집합)를 직접적으로 축소시키지 못한다. 예를 들어 H={f₀,f₁}이고 y_visₜ=0이라면 f₁을 즉시 배제할 수 없으며, 이는 “존재성 정보”만 제공되는 상황이다.

이를 해결하기 위해 저자들은 컬렉션 버전 스페이스 ˜Vₜ⊆𝒫(H)를 도입한다. ˜V₀는 H의 멱집합이며, 매 라운드마다 y_visₜ∈F(xₜ) 를 만족하는 하위집합 F만을 남긴다. 즉, 개별 가설이 아니라 가설들의 집합 자체가 일관성을 유지하는지를 검사한다. 이 구조는 부분 피드백에서도 단조 감소를 보장하므로, 전통적인 트리 기반 실현 가능성 증명과 동일한 방식으로 “shattering”을 정의할 수 있다.

그 기반 위에 두 가지 새로운 복합 차원을 정의한다.

1. Partial‑Feedback Littlestone dimension (PFLdim) – 결정론적 학습자를 위한 차원으로, 라벨 트리의 각 엣지를 관찰된 witness 라벨로 라벨링하고, 경로마다 존재 가능한 가설 집합이 비어 있지 않도록 하는 최대 깊이를 측정한다. PFLdim이 유한하면 결정론적 학습자는 O(PFLdim·log T) 수준의 regret을 달성한다.
2. Partial‑Feedback Measure Shattering dimension (PMSdim) – 무작위 학습자를 위한 차원으로, 확률적 예측을 허용하는 측면에서 “측정 가능한 shattering”을 고려한다. PMSdim이 유한하면 무작위 학습자는 Θ(√{PMSdim·T}) 수준의 최소극대 regret을 얻는다.

두 차원은 각각 결정론적·무작위 학습에 대한 tight minimax bounds를 제공한다. 즉, PFLdim이 k이면 어떤 결정론적 알고리즘도 최소 regret이 Ω(k) 이하가 될 수 없으며, 반대로 k에 비례하는 알고리즘이 존재한다. PMSdim에 대해서도 동일한 상하한이 성립한다.

또한 논문은 nested‑inclusion property 라는 구조적 가정을 도입한다. 허용 라벨 집합들의 가족 S(Y) 가 “하위 집합이 상위 집합을 포함한다”는 조건을 만족하면, PFLdim과 PMSdim이 동일하게 되며, 결정론적 학습 가능성과 무작위 학습 가능성이 일치한다. 이는 Raman et al. (2024b) 가 제시한 “finite Helly number” 가 필요조건이 아니라는 것을 보여주는 중요한 결과이다.

마지막으로 set‑realizability 를 넘어서는 경우를 분석한다. 여기서는 존재하는 가설 f⋆∈H가 매 라운드마다 정답 라벨을 포함한다는 가정만을 두지만, 허용 라벨 집합 Sₜ가 반드시 F⋆(xₜ) 형태일 필요는 없다. 저자들은 |H|=2 인 경우에도 적대적 적합도가 선형 regret을 초래할 수 있음을 증명한다. 이는 부분 피드백이 제공하는 정보가 너무 제한적이어서, 기존의 “agnostic” 혹은 “existence‑realizable” 분석으로는 충분히 설명되지 않음을 의미한다.

전체적으로, 컬렉션 버전 스페이스라는 새로운 도구와 두 차원(PFLdim, PMSdim)을 통해 부분 피드백 온라인 학습의 가능성 한계와 복잡도 측정을 명확히 규정했으며, 기존 모델(전통적 온라인, 밴드잇, 즉시 집합 피드백)과의 관계도 체계적으로 정리하였다.