In a non supervised Bayesian estimation approach for inverse problems in imaging systems, one tries to estimate jointly the unknown image pixels $\fb$ and the hyperparameters $\thetab$. This is, in general, done through the joint posterior law $p(\fb,\thetab|\gb)$. The expression of this joint law is often very complex and its exploration through sampling and computation of the point estimators such as MAP and posterior means need either optimization of non convex criteria or int\'egration of non Gaussian and multi variate probability laws. In any of these cases, we need to do approximations. We had explored before the possibilities of Laplace approximation and sampling by MCMC. In this paper, we explore the possibility of approximating this joint law by a separable one in $\fb$ and in $\thetab$. This gives the possibility of developing iterative algorithms with more reasonable computational cost, in particular, if the approximating laws are choosed in the exponential conjugate families. The main objective of this paper is to give details of different algorithms we obtain with different choices of these families.
Dans une approche estimation bayésienne non supervisée pour résoudre un problème inverse, on commence par écrire l'expression de la loi a posteriori conjointe des inconnues f et des hyper-paramètres θ : p(f , θ|g; M) = p(g, f , θ|M) p(g|M) = p(g|f , θ; M) p(f , θ|M) p(g|M) .
(1) Dans cette relation p(g|f , θ; M) est la vraisemblance des inconnues dont l’expression s’obtient à partir d’un modèle liant les inconnues aux données g (modélisation du problème directe), p(f , θ|M) est la loi a priori des inconnues et p(g|M) = p(g|f , θ; M) p(f |θ; M) p(θ|M) df dθ
(2) est ce qu’on appelle l’évidence du modèle M.
Il est intéressant de mentionner que, pour n’importe quelle loi de probabilité q(f , θ) on a p(g|M) = p(g, f , θ|M) df dθ = q(f , θ) p(g, f , θ|M) q(f , θ) df dθ ≥ q(f , θ) ln p(g, f , θ|M) q(f , θ) df dθ. (3) Aussi, notant par F (q) = q(f , θ) ln p(g, f , θ|M) q(f , θ) df dθ (4) et par KL(q : p) = q(f , θ) ln p(f , θ|g; M) q(f , θ) df dθ (5) on montre facilement que p(g|M) = F (q) + KL(q : p).
Ainsi F (q), appelée l’énergie libre de q par rapport à p, est une limite inférieure de p(g|M) car KL(q : p) ≥ 0. Par la suite, nous allons écrire l’expression de F (q) par
où H(q) est l’entropie de q. [1, 2]
Nous allons maintenant utiliser ces relation pour décrire le principe de l’approche variationnelle. L’idée de base est que l’utilisation directe de la loi a posteriori conjointe p(f , θ|g; M) est souvent très coûteux pour, par exemple, être explorée par échantillonnage directe ou pour calculer les moyennes a posteriori f = f p(f , θ|g; M) dθ df et θ = θp(f , θ|g; M) df dθ. En effet, rare sont les cas où on puisse trouver des expressions analytiques pour ces intégrales. De même l’exploration de cette loi par des méthodes de Monté Carlo est aussi coûteuses. On cherche alors de l’approximer par une loi plus simple q(f , θ). Par simplicité, nous entendons par exemple une loi q qui soit séparable en f et en θ :
Évidemment, cette approximation doit être fait de telle sorte qu’une mesure de distance entre q et p soit minimale. Si, d’une manière naturelle, on choisi KL(q : p) comme cette mesure, on aura :
( q 1 , q 2 ) = arg min (q1,q2)
{KL(q 1 q 2 : p)} = arg max (q1,q2)
{F (q 1 q 2 )} (9) et sachant que KL(q 1 q 2 : p) est convexe en q 1 à , q 2 fixée et vise versa, on peut obtenir la solution d’une manière itérative :
q 1 = arg min q1 {KL(q 1 q 2 : p)} = arg max q1 {F (q 1 q 2 )} q 2 = arg min q2 {KL( q 1 q 2 : p)} = arg max q2 {F ( q 1 q 2 )} (10) Utilisant la relation (7), il est facile de montrer que solutions d’optimisation de de ces étapes sont
Une fois cet algorithme convergé vers q * 1 (f ) et q * 2 (θ), on peut les utiliser d’une manière indépendante pour calculer, par exemple les moyennes f * = f q * 1 (f ) df et θ * = θ q * 2 (θ) dθ. Une deuxième étape de simplification est nécessaire pour être capable de calculer les espérances qui se trouvent dans ces exponentielles. Les calculs non paramétriques sont souvent trop coûteux. On choisit alors une forme paramétrique pour ces lois de telle sorte qu’on puisse, à chaque itération, remettre à jours seulement les paramètres de ces lois, à condition cependant que ces formes ne changent pas au cours des itérations. La famille des lois exponentielles conjuguées ont cette propriété [1,3,4,5,6,7,8]. Nous examinons ici, trois cas :
Il s’agit de choisir pour q 1 (f ) et q 2 (θ) des formes dégénérées suivantes :
Par conséquence, qu’au cours des itérations, nous aurons à remettre à jours f et θ au cours des itérations. les paramètres de la loi a posteriori jointe p(f , θ|g; M). En remarquant alors que
Il est alors facile de voir que si p(f , θ|g; M) est gaussienne à θ fixé, on aura juste à calculer f = arg max f p(f , θ|g; M) que l’on utilise ensuite pour mettre à jour q 2 (θ). On note alors que cet algorithme devient équivalent à ce qu’on peut apeller MAP Joint :
On remarque que l’on retrouve un algorithme du type MAP jointe.
Il s’agit de choisir, comme dans le cas précédent une forme dégénérée pour q 2 (θ) = δ(θθ), ce qui donne
(15) ce qui signifie que q 1 (f ) est une loi dans la même famille que la loi a posteriori p(f |g, θ; M). Évidemment, si la forme de cette loi est simple, par exemple une gaussienne, (ce qui est le cas dans les situations que nous étudierons) les calculs seront simples.
A chaque itération, on aurait alors à remettre à jours θ qui est ensuite utilisé pour trouver
On remarque facilement l’équivalence avec l’algorithme EM.
Il s’agit de choisir, pour q 1 (f ) et q 2 (θ) les mêmes familles de lois que p(f |g, θ) et p(θ|g, f ), ce qui permet de profiter de la mise à jour facile de ces lois si des lois a priori correspondantes sont choisie dans les familles des lois conjuguées associé à la modélisation directe du problème.
Dans ce travail, dans un premier temps, nous allons considéré le cas des problèmes inverses linéaires :
où H représente la forme discrétisé de la modélisation directe du problème et ǫ représente l’ensemble des er
This content is AI-processed based on open access ArXiv data.
