Codage arithmetique pour la description dune distribution

arXiv:0705.2938v1 [stat.ME] 21 May 2007 Co dage arithmétique p our la des ription d'une distribution Guilhem Co q1 , Olivier Alata2 , Christian Olivier2 , et Mar Arnaudon1 1 Lab oratoire de Mathématiques et Appli ations, UMR CNRS 6086 BP 30179 - 86962 F uturos op e Chasseneuil Cedex F ran e Tél : 05 49 49 68 97 F ax : 05 49 49 69 01 oq,arnaudon math.univ-poitier s.fr 2 Lab oratoire Signal Image et Comm uni ation BP 30179 - 86962 F uturos op e Chasseneuil Cedex F ran e Tél. : 05 49 49 65 67 F ax : 05 49 49 65 70 alata,olivier si .sp2mi.univ -poit iers .fr Résumé P artan t du o dage arithmétique prédi tif adaptatif et utilisan t le prin ip e du Mi- nim um Des ription Length, nous arriv ons à un outil e a e p our la séle tion de mo dèles : le ritère d'information RIC. Nous présen tons ensuite une extension de es te hniques de o dage à l'estimation non-paramétrique d'une distribution et l'illustrons sur l'histogramme des niv eaux de gris d'une image. Mots lés Critères d'information, MDL, séle tion de mo dèles, estimation non-paramétrique, histogrammes. 1 In tro du tion Le o dage arithmétique, présen té par Rissanen [7℄, est optimal en terme d'en tropie. Une v ersion simple de e o dage, p our laquelle nous ren v o y ons à [6 ℄, est utilisée dans JPEG2000 où plusieurs mo dèles de référen e son t utilisés. Nous présen tons en partie 2 une v ersion prédi tiv e et adaptativ e, utilisée notammen t dans le o deur d'images médi ales CALIC, qui est un outil e a e p our la séle tion de mo dèles. Sa longueur en tre en eet dans le adre plus général des ritères d'information ou d'en tropie p énalisée, in tro duits par exemple dans [1,10 ℄ et don t les domaines d'appli ations son t nom breux dès qu'il s'agit de dé rire de manière optimale une distribution, itons [2,4℄. Nous présen tons aussi en partie 4 une pro édure de séle tion de la partition, non né essairemen t régulière, d'un histogramme, basée sur es te hniques de o dage. Elle fait suite à la métho de prop osée dans [9℄ et en tre dans le adre général des métho des prop osées dans [3℄ p our la séle tion d'un histogramme. 2 Co dage en tropique et arithmétique prédi tif adaptatif 2.1 Co dage en tropique Soit E un ensem ble de m sym b oles. Un o de binaire sur E est une appli ation inje tiv e C : E →∪i∈N∗{0, 1}i . La longueur de C(x) est notée L(x). Si L v érie l'inégalité de 2 G. Co q, O. Alata, C. Olivier et M. Arnaudon Kraft, v oir par exemple [5℄, on sait qu'elle est la longueur d'un ertain o de qui satisfait la ondition du préxe, indisp ensable au dé o dage. Prenan t P une probabilité sur E et L = ⌈−log P⌉, où log est le logarithme à base 2, L v érie ette inégalité et est don la longueur d'un o de que nous onfondrons a v e P . Ainsi, si P(x) est grand, L(x) est faible. Rapp elons l'inégalité de on v exité de Jensen : si P et Q son t deux probabilités sur E , en notan t IE P l'esp éran e sous P , on a : H(P) := IE P [−log P] ≤IE P [−log Q] =: H(P, Q) (1) Sur des données pro v enan t de P in onn ue, l'ob je tif est don de trouv er un o dage Q don t l'en tropie roisée H(P, Q) se rappro

he de H(P). A et eet, le o dage de Human est optimal. Cep endan t le o dage arithmétique donne de meilleurs résultats en traitan t plusieurs sym b oles sim ultanémen t. 2.2 Chaînes de Mark o v m ultiples Les Chaînes de Mark o v Multiples (CMM) son t le adre naturel du o dage arithmétique. Un pro essus (Xn)n∈N∗ à v aleurs dans E est une CMM d’ordre k ∈N si k est le plus p etit en tier v érian t l’égalité P(Xn|Xn−1, . . . , X0) = P(Xn|Xn−1, . . . , Xn−k) p our tout n . Nous nous pla erons toujours dans le as où ette loi onditionnelle ne dép end pas de n ; la

haîne est alors dite homogène. Une CMM d’ordre 0 est une suite de v ariables aléatoires indép endan tes. Prenons les k premières v ariables d’une CMM d’ordre k indép endan tes et de distribu- tion uniforme sur E . Notons i ∈E un état, j ∈Ek un état omp osé et θ(i|j) la probabilité de v oir apparaitre i après j . La donnée des (m −1)mk réels θ(i|j), p our j ∈Ek i par- ouran t m −1 états de E , sut à dé rire l’év olution de X . P our θ un tel paramètre et xn = x1, . . . , xn une

haîne d’élémen ts de E , la vraisem blan e de xn relativ emen t à θ s’é rit : P(xn|θ) = 1 mk Y j∈Ek Y i∈E θ(i|j)n(i|j) (2) a v e n(i|j) le nom bre d’o uren es de i après j dans xn . 2.3 Co dage arithmétique prédi tif adaptatif Soit l’in terv alle ouran t Ic = [0, 1[. Soit à o der xn ∈En à l’ordre k

hoisi au préalable, on pro ède par itération. P our t ≥0 p osons xt = x1, . . . , xt et supp osons traités les t premiers sym b oles, t ≥0 ; t = 0 signian t que le o dage n’a pas en ore ommen é. P our traiter le (t + 1)−ième, on a tualise les probabilités de transitions omme suit : ˆθ(t)(i|j) = n(t)(i|j) + 1 n(t)(j) + m Co dage arithmétique p our la des ription d’une distribution 3 où i ∈E , j ∈Ek , n(t)(i|j) et n(t)(j) son t les nom bres d’o uren es resp e tifs de i après j et de j dans xt ; n(t)

This content is AI-processed based on open access ArXiv data.