PAC-Bayesian Bounds for Randomized Empirical Risk Minimizers

Ü ÑÔÐ ½º¿ ´ Ò× ØÝ ×Ø Ñ Ø ÓÒµº À Ö ¸Û ××ÙÑ Ø Ø P 1 = … = P N = P Ò ÓÒ× ÕÙ ÒØÐÝ Ø Ø

.

P exp sup

´ º½µ

´ º¾µ

´ º¿µ

´ º µ β -

, θi,β -βr ′ (., θ)

-log π i exp -βr ′ (., θ) .

´ º½¿µ

´ º½ µ R ′ θt , θt j ≤ B(t j , t s(j) ) + B(t s(j) , t j ) + B( t, t ŝ) + B(t ŝ, t) .

Ï Ö Ó Ò ØÓ ÙÔÔ Ö ÓÙÒ × Ô Ö Ø ÐÝ B(t j , t s(j) ) + B(t s(j) , t j ) Ò B( t, t ŝ) + B(t ŝ, t)º Ä Ø Ù× Ö×Ø Ð Û Ø Ø Ø ÖÑ B(t j , t s(j) ) + B(t s(j) , t j )

´ º½ µ B(t j , t s(j) ) + B(t s(j) , t j) , θt j ) ≤ B(t j , t s(j) ) + B(t s(j) , t j ) ≤ Eδ N (i, q, ε, κ).

ÈÐÙ Ò ÐÐ Ø × Ö ×ÙÐØ× ÒØÓ ÁÒ ÕÙ Ð ØÝ ´ º½ µ¸Û Ó Ø Ò¸ 1 -2λx N R ′ θt , θt j ≤ Eδ N (i, q, ε, κ) + 2λ N xEδ N (i, q, ε, κ) + 2xR ′ ( θt j , θ i ) + 2xR ′ (θ i , θ) + ϕ(x)

.

× Ù×Ù Ð¸Ð Ø Ù× ÔÔÐÝ Ä ÑÑ º ØÓ ÙÔÔ Ö ÓÙÒ C(t j )¸Ä ÑÑ º¿ ØÓ ÙÔÔ Ö ÓÙÒ R ′ ( θt j , θ i ) Ò Ä ÑÑ º½ ØÓ ÙÔÔ Ö ÓÙÒ ϕ(x)º Ä Ø Ù× ÔÙØ

θt , θt j ≤ E ′ δ N (i, q, ε, κ). Ì Ò¸ ÓÖ ÒÝ (θ, θ ′ ) ∈ Θ 2 Ŗ(θ)