Plans DExperiences DInformation De Kullback-Leibler Minimale

P L A N S D ’ I N F O R M A T I O N D E K U L L B A C K - L E I B L E R M I N I M A L E A s t r i d J o u r d a n C h e r c h e u r a s s o c i é a u L M A E q u i p e d e P r o b a b i l i t é s e t S t a t i s t i q u e s I n t r o d u c t i o n D e p u i s q u e l q u e s a n n é e s , l a s i m u l a t i o n n u m é r i q u e m o d é l i s e d e s p h é n o m è n e s t o u j o u r s p l u s c o m p l e x e s . D e t e l s p r o b l è m e s , g é n é r a l e m e n t d e t r è s g r a n d e d i m e n s i o n , e x i g e n t d e s c o d e s d e s i m u l a t i o n s o p h i s t i q u é s e t t r è s c o û t e u x e n t e m p s d e c a l c u l ( p a r f o i s p l u s i e u r s j o u r s ) . D a n s c e c o n t e x t e , l e r e c o u r s s y s t é m a t i q u e a u s i m u l a t e u r d e v i e n t i l l u s o i r e . L ’ a p p r o c h e a c t u e l l e m e n t p r i v i l é g i é e c o n s i s t e à d é f i n i r u n n o m b r e r é d u i t d e s i m u l a t i o n s o r g a n i s é e s s e l o n u n p l a n d ’ e x p é r i e n c e s n u m é r i q u e s e t d ’ a d a p t e r , à p a r t i r d e c e l u i - c i , u n m é t a m o d è l e p o u r a p p r o c h e r l e s i m u l a t e u r . D a n s l e c a d r e d e c e s t r a v a u x , n o u s n o u s s o m m e s i n t é r e s s é s à l a c o n s t r u c t i o n d e s p l a n s d ’ e x p é r i e n c e s e n p h a s e e x p l o r a t o i r e i . e . l o r s q u e l a d é p e n d a n c e e n t r e l e s e n t r é e s e t l e s s o r t i e s e s t a p r i o r i i n c o n n u e . I l e s t a l o r s d i f f i c i l e d e p r é v o i r q u e l t y p e d e m é t a m o d è l e v a c o n v e n i r . L e s p l a n s é l a b o r é s l o r s d e c e t t e p h a s e e x p l o r a t o i r e d o i v e n t d o n c s ’ a f f r a n c h i r d e t o u t e c o n t r a i n t e p a r r a p p o r t à u n t y p e d e m é t a m o d è l e ( r é g r e s s i o n l i n é a i r e , k r i g e a g e , r é s e a u x d e n e u r o n e s ) p u i s q u e c e l u i - c i e s t c h o i s i à l ’ i s s u e d e c e s p r e m i è r e s s i m u l a t i o n s . A i n s i , l e s e x p é r i e n c e s d e c e s p l a n s d o i v e n t r e m p l i r a u m i e u x l ’ e s p a c e d e s p a r a m è t r e s a f i n d ’ o b t e n i r d e s i n f o r m a t i o n s d a n s t o u t l e d o m a i n e e x p é r i m e n t a l e t n o t a m m e n t p o u r d é t e c t e r l e s é v e n t u e l l e s i r r é g u l a r i t é s à l ’ i n t é r i e u r d u d o m a i n e d e s i m u l a t i o n . O n c h e r c h e a i n s i u n p l a n d o n t l e s p o i n t s s e r a i e n t l e p l u s u n i f o r m é m e n t r é p a r t i s d a n s l ’ h y p e r c u b e u n i t é . S i m i l a i r e m e n t à l a d i s c r é p a n c e , l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r ( i n f o r m a t i o n K L ) p e r m e t d e m e s u r e r l ’ é c a r t e n t r e l a d i s t r i b u t i o n e m p i r i q u e e t l a l o i u n i f o r m e . L ’ i d é e e s t a l o r s d e c o n s t r u i r e , d e f a ç o n e m p i r i q u e , d e s p l a n s d ’ i n f o r m a t i o n K L m i n i m a l e à l ’ a i d e d ’ u n s i m p l e a l g o r i t h m e d ’ é c h a n g e . C e r a p p o r t e s t o r g a n i s é c o m m e s u i t . D a n s u n p r e m i e r t e m p s , n o u s p r é s e n t o n s l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r a i n s i q u e l e s p r o p r i é t é s q u i l u i s o n t a s s o c i é e s , n o t a m m e n t s o n a p p l i c a t i o n d a n s l e c a s d e l a l o i u n i f o r m e e t s o n l i e n a v e c l ’ e n t r o p i e . N o u s p r o p o s o n s e n s u i t e d e u x m é t h o d e s d e c o n s t r u c t i o n d e p l a n s d ’ i n f o r m a t i o n K L m i n i m a l e b a s é e s s u r d e s m é t h o d e s d ’ e s t i m a t i o n d e l ’ e n t r o p i e d i f f é r e n t e s . L a p r e m i è r e u t i l i s e u n e e s t i m a t i o n p a r n o y a u x d e l a f o n c t i o n d e d e n s i t é a f i n d e l ’ i n t é g r e r d a n s u n c a l c u l M o n t e C a r l o . L a d e u x i è m e é v i t e l ’ e s t i m a t i o n d e l a f o n c t i o n d e d e n s i t é e n p a s s a n t p a r u n e m é t h o d e d e p l u s p r o c h e v o i s i n . E n f i n , n o u s t e r m i n o n s p a r u n e é t u d e c o m p a r a t i v e a v e c l e s p l a n s u s u e l s à l ’ a i d e d e c r i t è r e s c o u r a m m e n t u t i l i s é s d a n s l a l i t t é r a t u r e . 1 . I n f o r m a t i o n d e K u l l b a c k - L e i b l e r 1 . 2 . I n f o r m a t i o n d e K u l l b a c k - L e i b l e r S u p p o s o n s q u e l e s p o i n t s d u p l a n s o n t l e s n r é a l i s a t i o n s d ’ u n v e c t e u r a l é a t o i r e X = ( X 1 , . . . , X d ) d e f o n c t i o n d e d e n s i t é i n c o n n u e f d e s u p p o r t l e c u b e u n i t é E = [ 0 , 1 ] d . L ’ o b j e c t i f e s t d e c o n s t r u i r e u n p l a n d o n t l a f o n c t i o n d e d e n s i t é a s s o c i é e e s t l a p l u s p r o c h e p o s s i b l e d e c e l l e d e l a l o i u n i f o r m e s u r E . P o u r c e l a , n o u s a v o n s c h o i s i d ’ u t i l i s e r l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r ( 1 9 5 1 ) a f i n d e m e s u r e r l ’ é c a r t e n t r e l e s f o n c t i o n s d e d e n s i t é . D e f a ç o n g é n é r a l e , l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r p e r m e t t a n t d e m e s u r e r l ’ é c a r t e n t r e l e s d e u x f o n c t i o n s d e d e n s i t é f e t g e s t d é f i n i e p a r ∫       = dx ) x ( ) x ( ln ) x ( ) , ( I g f f g f L ’ i n t é g r a l e c i - d e s s u s n ’ e s t p a s t o u j o u r s d é f i n i e . U n e c o n d i t i o n n é c e s s a i r e p o u r q u e l ’ i n t é g r a l e c o n v e r g e e s t q u e P f , l a m e s u r e d e p r o b a b i l i t é s o u s - j a c e n t e à l a f o n c t i o n d e d e n s i t é f , e s t a b s o l u m e n t c o n t i n u e p a r r a p p o r t à P g l a m e s u r e d e p r o b a b i l i t é i n d u i t e p a r g . D a n s n o t r e c a s , s i o n c o n s i d è r e f c o n t i n u e e t g l a f o n c t i o n d e d e n s i t é d e l a l o i u n i f o r m e s u r E , c e l a r e v i e n t à s u p p o s e r q u e p o u r t o u t A ⊂ R d \ E , P f ( A ) = 0 . 1 . 1 . Q u e l q u e s p r o p r i é t é s d e l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r N o u s p r é s e n t o n s i c i l e s p r o p r i é t é s d e l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r n é c e s s a i r e s à l a b o n n e c o m p r é h e n s i o n d e n o s p r o p o s . P r o p r i é t é s d e d i s t a n c e M ê m e s i l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r e s t u t i l i s é e p o u r m e s u r e r u n é c a r t e n t r e d e u x f o n c t i o n s d e d e n s i t é , e l l e n ’ e s t p a s u n e d i s t a n c e a u s e n s t o p o l o g i q u e d u t e r m e . E n e f f e t , l ’ i n é g a l i t é t r i a n g u l a i r e n ’ e s t p a s v é r i f i é e a i n s i q u e l a p r o p r i é t é d e s y m é t r i e . C e c i e x p l i q u e p a r a i l l e u r s l ’ i m p o r t a n c e d u c h o i x e n t r e l e s f o n c t i o n s f e t g . P a r c o n v e n t i o n , f e s t c h o i s i e c o m m e l a f o n c t i o n d e d e n s i t é a s s o c i é e a u p l a n e t g c o m m e l a f o n c t i o n d e d e n s i t é t h é o r i q u e , à s a v o i r i c i c e l l e d e l a l o i u n i f o r m e . N é a n m o i n s , i l e x i s t e d e s m o d i f i c a t i o n s p o u r s y m é t r i s e r l ’ i n f o r m a t i o n K L , p a r e x e m p l e e n u t i l i s a n t , ) , ( I ) , ( I ) , ( d f g g f g f + = , o n p a r l e a l o r s d e d i v e r g e n c e d e K u l l b a c k - L e i b l e r . E n r e v a n c h e , l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r e s t d é f i n i e p o s i t i v e 0 ) , ( I ≥ g f a v e c é g a l i t é s i e t s e u l e m e n t s i f = g p r e s q u e p a r t o u t . C e t t e p r o p r i é t é j u s t i f i e e n p a r t i e l ’ u t i l i s a t i o n d e l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r p o u r m e s u r e r l ’ é c a r t e n t r e d e u x f o n c t i o n s d e d e n s i t é . A i n s i , p l u s l ’ i n f o r m a t i o n e s t p r o c h e d e 0 , e t p l u s f e s t « p r o c h e » d e g . F o r m u l a t i o n s o u s f o r m e d ’ e s p é r a n c e E n d é v e l o p p a n t l ’ i n t é g r a l e , o n o b t i e n t ( ) ( ) ∫ ∫ − = dx ) x ( ln ) x ( dx ) x ( ln ) x ( ) , ( I g f f f g f . C e q u i p e u t e n c o r e s ’ e x p r i m e r s o u s l a f o r m e d ’ u n e e s p é r a n c e r e l a t i v e m e n t à l a m e s u r e P f , ( ) [ ] ( ) [ ] ) x ( ln E ) x ( ln E ) , ( I P P g f g f f f − = P r o p r i é t é d ’ a d d i t i v i t é L ’ i n f o r m a t i o n K - L e s t a d d i t i v e , c ’ e s t - à - d i r e q u e l ’ i n f o r m a t i o n e n t r e d e u x l o i s c o n j o i n t e s d e v a r i a b l e s i . i . d . e s t l a s o m m e d e l ’ i n f o r m a t i o n d e s l o i s m a r g i n a l e s . S i o n s u p p o s e q u e l e s c o o r d o n n é e s d e s p o i n t s d u p l a n s o n t v a r i a b l e s i . i . d . a l o r s l a p r o p r i é t é d ’ a d d i t i v i t é d e l ’ i n f o r m a t i o n K L r e v i e n t à t e s t e r l a d i s t r i b u t i o n u n i f o r m e d e s p o i n t s d u p l a n s u r l e s a x e s u n i q u e m e n t . O r u n e r é p a r t i t i o n u n i f o r m e s u r l e s m a r g e s n ’ e n t r a î n e p a s n é c e s s a i r e m e n t u n e r é p a r t i t i o n u n i f o r m e d a n s l e c u b e u n i t é . C h a n g e m e n t d ’ é c h e l l e O n n o t e d e p l u s q u e l ’ i n f o r m a t i o n K L e s t i n v a r i a n t e p a r c h a n g e m e n t d ’ é c h e l l e . C e t t e p r o p r i é t é p e r m e t d e t r a v a i l l e r d a n s l e c u b e u n i t é p o u r c o n s t r u i r e d e s p l a n s d ’ e x p é r i e n c e s g é n é r i q u e s . 1 . 2 . M a x i m i s a t i o n d e l ’ e n t r o p i e L e l i e n e n t r e l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r e t l ’ e n t r o p i e s e f a i t i m m é d i a t e m e n t e n a p p l i q u a n t l a d é f i n i t i o n à n o t r e c a s , c ’ e s t - à - d i r e e n c o n s i d é r a n t g c o m m e l a f o n c t i o n d e d e n s i t é d e l a l o i u n i f o r m e s u r E , ( ) ( ) [ ] [ ] f f f f f f H ) x ( ln E dx ) x ( ln ) x ( ) ( I P − = = = ∫ o ù H [ f ] e s t l ’ e n t r o p i e . A i n s i , m i n i m i s e r l ’ i n f o r m a t i o n K L r e v i e n t à m a x i m i s e r l ’ e n t r o p i e . O n r e t r o u v e l a d é f i n i t i o n d e s p l a n s à e n t r o p i e m a x i m a l e c o u r a m m e n t u t i l i s é s e n p l a n i f i c a t i o n n u m é r i q u e ( S h e w r y & W y n n , 1 9 8 7 , C u r r i n e t a l . , 1 9 8 8 ) o u p l a n s b a y é s i e n s o p t i m a u x ( C h a l o n e r & V e r d i n e l l i , 1 9 9 5 , S e b a s t i a n i & W y n n , 2 0 0 0 ) . L ’ o r i g i n a l i t é d e l ’ i d é e p r o p o s é e i c i v i e n t d u f a i t q u e n o u s s o m m e s e n p h a s e e x p l o r a t o i r e e t q u e n o u s n ’ a v o n s a u c u n m o d è l e s o u s - j a c e n t . L a m a x i m i s a t i o n d e l ’ e n t r o p i e n ’ a d o n c p a s p o u r o b j e c t i f d ’ a u g m e n t e r l a q u a n t i t é d ’ i n f o r m a t i o n ( a u s e n s d e S h a n n o n ) c o n t e n u e d a n s l ’ é c h a n t i l l o n r e l a t i v e m e n t à d e s p a r a m è t r e s d u m o d è l e . E n r e v a n c h e , i l e s t b i e n c o n n u q u e l a l o i u n i f o r m e m a x i m i s e l ’ e n t r o p i e d e s l o i s à s u p p o r t d a n s [ 0 , 1 ] . L ’ e n t r o p i e d u p l a n e s t d o n c n é g a t i v e e t f a i r e t e n d r e c e t t e e n t r o p i e v e r s 0 , r e v i e n t à s ’ a p p r o c h e r d ’ u n e d i s t r i b u t i o n u n i f o r m e . O n n o t e r a d ’ a i l l e u r s q u e d e s t e s t s d ’ u n i f o r m i t é o n t é t é d é v e l o p p é s à p a r t i r d e l ’ e s t i m a t i o n d e l ’ e n t r o p i e ( D u d e w i c z e t a l . 1 9 8 1 , v o i r a u t r e s r é f ) m a i s u n i q u e m e n t d a n s l e c a s p o u r l a d i m e n s i o n u n e t n e p e u v e n t s e g é n é r a l i s e r e n d i m e n s i o n s u p é r i e u r e . A f i n d e n e p a s c o n f o n d r e a v e c l e s p l a n s à e n t r o p i e m a x i m a l e , l e s p l a n s c o n s t r u i t s d a n s c e r a p p o r t s e r o n t d i t s d ’ i n f o r m a t i o n K L m i n i m a l e . R e m a r q u e : O n n o t e , d a n s c e c a s , q u e l a d i v e r g e n c e d e K u l l b a c k - L e i b l e r s ’ é c r i t ( ) ( ) [ ] 1 ) x ( ln E dx ) x ( dx ) x ( ln ) x ( ) ( d P − = − = ∫ ∫ f f f f f f 1 . 3 . C o n s t r u c t i o n d e s p l a n s A u v u d e s p r o p r i é t é s é n o n c é e s p r é c é d e m m e n t , l e s p l a n s s o n t c o n s t r u i t s s u i v a n t u n s i m p l e a l g o r i t h m e d ’ é c h a n g e v i s a n t à m a x i m i s e r l ’ e n t r o p i e . A l g o r i t h m e d ’ é c h a n g e I n i t i a l i s a t i o n : c h o i s i r u n p l a n d ’ e x p é r i e n c e s x 1 , . . . , x n s e l o n u n e l o i d e p r o b a b i l i t é d o n n é e T A N T Q U E ( c o n d i t i o n d ’ a r r ê t n ’ e s t p a s s a t i s f a i t e ) C h o i s i r u n e e x p é r i e n c e x i a u h a s a r d p a r m i l e s p o i n t s d u p l a n R e m p l a c e r x i p a r y i s i m u l e r u n i f o r m é m e n t d a n s [ 0 , 1 ] d S I l ’ e n t r o p i e o b t e n u e à l ’ a c t i o n p r é c é d e n t e e s t p l u s g r a n d e q u e c e l l e d u p l a n d ’ o r i g i n e A L O R S a c c e p t e r l e c h a n g e m e n t x i = y i . F I N T A N T Q U E L a c o n d i t i o n d ’ a r r ê t n ’ e s t p a s s p é c i f i é e . P r a t i q u e m e n t , o n c o n s i d è r e s o i t u n n o m b r e m a x i m u m d ’ é c h a n g e s , s o i t l a s t a b i l i s a t i o n d e l ’ e n t r o p i e q u i s e t r a d u i t p a r u n n o m b r e a r b i t r a i r e d ’ é c h a n g e s c o n s é c u t i f s t e s t é s e t r e f u s é s . S u i t e à l ’ é t u d e d e l a c o n v e r g e n c e d e l ’ a l g o r i t h m e s u r p l u s i e u r s e s s a i s , l e n o m b r e m a x i m a l d ’ é c h a n g e s e s t f i x é à 1 0 0 0 × d e t l e n o m b r e d ’ é c h a n g e s c o n s é c u t i f s s a n s a m é l i o r a t i o n à 1 0 0 × d . L e p l a n f i n a l d é p e n d p l u s o u m o i n s d u p l a n i n i t i a l c h o i s i a l é a t o i r e m e n t . A f i n d e r é d u i r e c e t t e d é p e n d a n c e , p l u s i e u r s i n i t i a l i s a t i o n s s o n t t e s t é e s e t l e m e i l l e u r p l a n e s t s é l e c t i o n n é . D a n s l e s p a r a g r a p h e s s u i v a n t s , p l u s i e u r s p l a n s s o n t c o n s t r u i t s à p a r t i r d ’ u n e s e u l e i n i t i a l i s a t i o n d e f a ç o n à é t u d i e r l ’ i n f l u e n c e d u p l a n i n i t i a l . I l e s t é v i d e n t q u e d a n s l ’ a l g o r i t h m e c i - d e s s u s l e p o i n t e s s e n t i e l c o n c e r n a n t l e c a l c u l d e l ’ e n t r o p i e d ’ u n e n s e m b l e d e p o i n t s r e s t e à d é f i n i r . I l e x i s t e d i f f é r e n t e s t e c h n i q u e s d ’ e s t i m a t i o n d e l ’ e n t r o p i e q u i , p o u r c e r t a i n e s d ’ e n t r e e l l e s , s o n t e x p o s é e s d a n s l ’ a r t i c l e d e B e i r l a n t e t a l . ( 1 9 9 7 ) . N o u s a v o n s r e t e n u d e u x m é t h o d e s q u i p e r m e t t r o n t d e c o n s t r u i r e d e u x t y p e s d e p l a n s . 2 . E s t i m a t i o n d e l ’ e n t r o p i e p a r M o n t e C a r l o 2 . 2 . L a m é t h o d e d e M o n t e C a r l o N o t o n s X 1 , . . . , X n , l e s n r é a l i s a t i o n s d e X c o n s t i t u a n t l e s p o i n t s d u p l a n . E t a n t d o n n é q u e l ’ e n t r o p i e s ’ é c r i t s o u s l a f o r m e d ’ u n e e s p é r a n c e , ( ) [ ] ) X ( ln E ) X ( H f − = , l a m é t h o d e d e M o n t e C a r l o f o u r n i t u n e s t i m a t e u r s a n s b i a i s e t c o n v e r g e n t d e l ’ e n t r o p i e ∑ = − = n 1 i i ) X ( ln n 1 ) X ( H ˆ f . C e t t e e s t i m a t i o n f a i t i n t e r v e n i r l a f o n c t i o n d e d e n s i t é f i n c o n n u e m a i s p o u v a n t ê t r e e s t i m é e à p a r t i r d e X 1 , . . . , X n . L a s o l u t i o n c o n s i s t a n t à r e m p l a c e r f p a r u n e e s t i m a t i o n d a n s l ’ e x p r e s s i o n c i - d e s s u s , n ’ a s s u r e p a s q u e l ’ e s t i m a t e u r r e s t e s a n s b i a i s . N o u s a v o n s c h o i s i i c i d ’ e s t i m e r l a f o n c t i o n d e d e n s i t é p a r u n e m é t h o d e à n o y a u x ( S i l v e r m a n 1 9 8 6 , S c o t t 1 9 9 2 ) , ∑ =       − = n 1 i i d h X x nh 1 ) x ( f ˆ K , ∀ x ∈ [ 0 , 1 ] d o ù h e s t l a t a i l l e d e l a f e n ê t r e e t K e s t l e n o y a u . R e m a r q u e : L ’ e s t i m a t i o n d e l a f o n c t i o n d e d e n s i t é e t l ’ e s t i m a t i o n d e l ’ e n t r o p i e s e f o n t à p a r t i r d u m ê m e é c h a n t i l l o n , i . e l e s p o i n t s d u p l a n . D a n s l e c o n t e x t e d e s p l a n s d ’ e x p é r i e n c e s , l ’ é c h a n t i l l o n e s t d e p e t i t e t a i l l e . O r , i l n ’ y a p a s d ’ e x i g e n c e à c e q u e l ’ e s t i m a t i o n d e l ’ e n t r o p i e s e f a s s e à p a r t i r d e s p o i n t s d u p l a n . O n p o u r r a i t e n v i s a g e r l a m é t h o d e d e M o n t e C a r l o s u i v a n t e ( D m i t r i e v , T a r a s e n k o , 1 9 7 3 ) ∑ = − = N 1 i i i ) Z ( f ˆ ln ) Z ( f ˆ N 1 ) X ( H ˆ , o ù Z i s o n t N r é a l i s a t i o n s d ’ u n v e c t e u r a l é a t o i r e d e l o i u n i f o r m e s u r [ 0 , 1 ] d . D a n s c e c a s , s e u l e l ’ e s t i m a t i o n d e l a f o n c t i o n d e d e n s i t é d é p e n d d e s p o i n t s d u p l a n . I l e s t a l o r s p o s s i b l e d e c h o i s i r u n é c h a n t i l l o n d e g r a n d e t a i l l e N p o u r l ’ e s t i m a t i o n d e l ’ e n t r o p i e . C e t t e m é t h o d e n ’ a p a s é t é r e t e n u e c a r , c o m m e l e s o u l i g n e J o e ( 1 9 8 9 ) , e l l e n é c e s s i t e u n t e m p s d e c a l c u l p r o h i b i t i f l o r s q u e d ≥ 2 . D e p l u s l e s r é s u l t a t s d e t e s t s e f f e c t u é s e n d i m e n s i o n u n n e s ’ a v è r e n t p a s m e i l l e u r s . 2 . 3 . T a i l l e d e l a f e n ê t r e L a t a i l l e d e l a f e n ê t r e a u n e g r a n d e i n f l u e n c e s u r l a q u a l i t é d e l ’ e s t i m a t i o n . E n s u p p o s a n t q u e l e s v a r i a b l e s s o n t n o n c o r r é l é e s , i l e s t a s s e z u s u e l d ’ e s t i m e r l a t a i l l e d e l a f e n ê t r e p a r ( R è g l e d e S c o t t , 1 9 9 2 ) j ) 4 d /( 1 j ˆ n h ˆ σ = + − , j = 1 , . . . , d o ù j ˆ σ e s t l ’ é c a r t - t y p e d e l a j è m e v a r i a b l e a l é a t o i r e X j . C e p e n d a n t , J o e ( 1 9 8 9 ) m o n t r e q u e d a n s l e c a s o ù f e s t e s t i m é e p a r n o y a u x , l ’ e s t i m a t e u r d e l ’ e n t r o p i e p a r l a m é t h o d e d e M o n t e C a r l o e s t b i a i s é . L e b i a i s d é p e n d n a t u r e l l e m e n t d e l a t a i l l e d e l ’ é c h a n t i l l o n n , d e l a d i m e n s i o n d , m a i s a u s s i d e l a t a i l l e d e l a f e n ê t r e h . L o r s d e l a c o n s t r u c t i o n d ’ u n p l a n o p t i m a l , l a t a i l l e n e t l a d i m e n s i o n d s o n t f i x é e s . I l r e s t e d o n c à f i x e r l a t a i l l e d e l a f e n ê t r e d e f a ç o n à c e q u e l e b i a i s n e v a r i e p a s a u c o u r s d e l ’ a l g o r i t h m e d ’ é c h a n g e . P o u r c e l a , n o u s r e m p l a ç o n s j ˆ σ p a r l ’ é c a r t - t y p e d e l a l o i u n i f o r m e s u r [ 0 , 1 ] , d ’ o ù ) 4 d /( 1 n 1 12 1 h ˆ + = . 2 . 4 . C h o i x d u n o y a u I l e s t c o n n u q u e l a f o r m e d u n o y a u a p e u d ’ i n f l u e n c e s u r l ’ e s t i m a t i o n . C e p e n d a n t p o u r d e s r a i s o n s l i é e s à n o t r e c o n t e x t e e t q u e n o u s é v o q u o n s c i - d e s s o u s , d i f f é r e n t s n o y a u x o n t é t é t e s t é s . N o y a u d ’ E p a n e c h n i k o v L e n o y a u d ’ E p a n e c h n i k o v m u l t i d i m e n s i o n n e l e s t d é f i n i p a r ( )      ≤ − α = on sin 0 1 z si z 1 ) z ( 2 K a v e c α l a c o n s t a n t e d e n o r m a l i s a t i o n ( a n n e x e 2 ) e t . l a n o r m e e u c l i d i e n n e . N o y a u g a u s s i e n L e n o y a u g a u s s i e n c e n t r é m u l t i d i m e n s i o n n e l e s t d é f i n i p a r       − π = − 2 2 d 2 / d z s 2 1 exp s ) 2 ( ) z ( K , o ù s 2 e s t c h o i s i é g a l à l a d i m e n s i o n m u l t i p l i é e p a r l a v a r i a n c e d e l a l o i u n i f o r m e s u r [ 0 , 1 ] , 12 d s 2 = . x 0.0 0.2 0.4 0.6 0.8 1.0 y 0.0 0.2 0.4 0.6 0.8 1.0 d e n s i t é 0.0 0.5 1.0 1.5 N o y a u d ’ E p a n e c h n i k o v x 0.0 0.2 0.4 0.6 0.8 1.0 y 0.0 0.2 0.4 0.6 0.8 1.0 d e n s i t é 0.0 0.5 1.0 1.5 N o y a u g a u s s i e n F i g . 1 . R e p r é s e n t a t i o n d ’ u n e f o n c t i o n d e d e n s i t é e s t i m é e s u r u n é c h a n t i l l o n d e t a i l l e 2 0 e n d i m e n s i o n 2 . O n c o n s t a t e s u r l a f i g u r e 1 q u e l a f o r m e d u n o y a u n ’ a e f f e c t i v e m e n t q u e p e u d ’ i n f l u e n c e s u r l e r é s u l t a t . L e n o y a u d ’ E p a n e c h n i k o v e s t à s u p p o r t b o r n é e t c o n v i e n t a i n s i à n o t r e p r o b l é m a t i q u e . O n n o t e c e p e n d a n t q u e c e t t e c a r a c t é r i s t i q u e p o s e p r o b l è m e e n d i m e n s i o n é l e v é e c a r l a p r o b a b i l i t é q u e l a n o r m e d e z s o i t i n f é r i e u r e à 1 d e v i e n t t r è s f a i b l e . E n e f f e t , s i o n s u p p o s e q u e l a t a i l l e d e l a f e n ê t r e e s t f i x é e c o m m e e x p l i q u é c i - d e s s u s a l o r s ( ) ) 4 d /( 2 n 1 d 12 1 1 z P + = < . P a r e x e m p l e p o u r d = 3 e t n = 3 0 , c e t t e p r o b a b i l i t é e s t d e 1 0 - 1 , e t p o u r d = 1 0 e t n = 1 0 0 , e l l e v a u t 4 × 1 0 - 3 ( a n n e x e 1 ) . C e l a s i g n i f i e q u e l e n o y a u e s t t o u j o u r s n u l e t a i n s i l a f o n c t i o n d e d e n s i t é e s t i m é e e s t i d e n t i q u e q u e l q u e s o i t l ’ é c h a n t i l l o n u t i l i s é , c e q u i n ’ a p p o r t e p a s d ’ i n t é r ê t à l ’ u t i l i s a t i o n d e l ’ a l g o r i t h m e d ’ é c h a n g e . E t a n t à s u p p o r t i n f i n i , l e n o y a u g a u s s i e n n e p r é s e n t e p a s c e t y p e d e p r o b l è m e e t e s t f i n a l e m e n t r e t e n u p o u r l ’ e s t i m a t i o n d e l a f o n c t i o n d e d e n s i t é . L e s p r o p r i é t é s é t a b l i e s p a r J o e ( 1 9 8 9 ) c o n c e r n a n t c e t e s t i m a t e u r s o n t a s y m p t o t i q u e s . D e p l u s , i l m o n t r e q u e l a t a i l l e d e l ’ é c h a n t i l l o n a u g m e n t e r a p i d e m e n t a v e c l a d i m e n s i o n p o u r a v o i r u n e e s t i m a t i o n c o r r e c t e d e l ’ e n t r o p i e ( c f . f i g u r e 2 ) . D a n s l e c o n t e x t e d e s p l a n s d ’ e x p é r i e n c e s , l e n o m b r e d e p o i n t s e s t f a i b l e e t d o n c l e c a l c u l d e l ’ e n t r o p i e s e r a e n t a c h é d ’ u n e e r r e u r i m p o r t a n t e . C e p e n d a n t , n o t r e o b j e c t i f n ’ e s t p a s d ’ o b t e n i r u n e v a l e u r p r é c i s e p o u r l ’ e n t r o p i e . I l e s t i n t é r e s s a n t d e v o i r q u e , m a l g r é c e t t e i m p r é c i s i o n , l ’ a l g o r i t h m e d ’ é c h a n g e c o n v e r g e a s s e z r a p i d e m e n t ( f i g u r e 3 ) e t q u e l e s p l a n s a i n s i c o n s t r u i t s o n t l e s p r o p r i é t é s a t t e n d u e s , à s a v o i r u n r e m p l i s s a g e u n i f o r m e d e l ’ e s p a c e d e s p a r a m è t r e s , c o m m e n o u s a l l o n s l e v o i r d a n s l e p a r a g r a p h e 5 . 0 500 1000 1500 2 000 2500 3000 -1. 2 -1. 0 -0. 8 -0.6 - 0.4 -0. 2 0.0 T aill e de l 'éch an till on Entropie F i g . 2 . E v o l u t i o n d e l ’ e n t r o p i e ( M C G a u s s ) e n f o n c t i o n d e l a t a i l l e d e l ’ é c h a n t i l l o n p o u r d e s t i r a g e s a l é a t o i r e s e n d i m e n s i o n 3 0 100 200 300 400 500 -1. 25 - 1.20 -1. 15 - 1.10 N ombre d' échan ges Entropie F i g . 3 . E v o l u t i o n d e l ’ e n t r o p i e ( M C G a u s s ) a u c o u r s d e l ’ a l g o r i t h m e d ’ é c h a n g e p o u r d e s p l a n s d e t a i l l e 3 0 e n d i m e n s i o n 3 3 . E s t i m a t i o n d e l ’ e n t r o p i e p a r p l u s p r o c h e v o i s i n L o r s q u e l a d i m e n s i o n d a u g m e n t e , l a m é t h o d e d ’ e s t i m a t i o n p a r M o n t e C a r l o d e v i e n t m o i n s p e r f o r m a n t e l o r s q u e l ’ é c h a n t i l l o n e s t d e p e t i t e t a i l l e , c o m m e c e l a e s t l e c a s p o u r u n p l a n d ’ e x p é r i e n c e s n u m é r i q u e s . E t a n t d o n n é e q u e l a d e n s i t é d o i t ê t r e r é - e s t i m é e à c h a q u e é c h a n g e , c e t t e m é t h o d e r e q u i è r e u n t e m p s d e c a l c u l p r o h i b i t i f . K o z a c h e n k o e t L e o n e n k o ( 1 9 8 7 ) p r o p o s e n t u n e e s t i m a t i o n d e l ’ e n t r o p i e d i r e c t e m e n t b a s é e s u r l a r é p a r t i t i o n d e s p o i n t s s a n s p a s s e r p a r l ’ e s t i m a t i o n d e l a f o n c t i o n d e d e n s i t é , ) 1 n ln( C ) 1 2 / d ( ln l n n d ) ( H ˆ E 2 / d n 1 i i − + +       + Γ π + ρ = ∑ = f o ù C E ≈ 0 . 5 7 7 2 e s t l a c o n s t a n t e d ’ E u l e r , Γ e s t l a f o n c t i o n G a m m a e t ρ i e s t l a d i s t a n c e e u c l i d i e n n e e n t r e X i e t s o n p l u s p r o c h e v o i s i n d a n s l ’ é c h a n t i l l o n , j i n j 1 , i j i X X min − = ρ ≤ ≤ ≠ I l s m o n t r e n t q u e c e t e s t i m a t e u r e s t a s y m p t o t i q u e m e n t s a n s b i a i s e t c o n v e r g e e n m o y e n n e q u a d r a t i q u e p o u r d e s c o n d i t i o n s f a i b l e s s u r f . O n c o n s t a t e e f f e c t i v e m e n t s u r l a f i g u r e 4 . C e p e n d a n t l e s v a l e u r s s o n t p o s i t i v e s a l o r s q u ’ e l l e s d e v r a i e n t ê t r e n é g a t i v e s e n t h é o r i e . C e d é c a l a g e d o i t c e r t a i n e m e n t r e t r a n s c r i r e l e b i a i s d e l ’ e s t i m a t i o n . L ’ a l g o r i t h m e d ’ é c h a n g e ( f i g u r e 5 ) e s t l u i a u s s i c o n v e r g e n t m a i s s e m b l e p l u s l e n t q u e p o u r l a m é t h o d e p r é c é d e n t e . L e t e m p s d e c a l c u l g a g n é s u r l ’ e s t i m a t i o n d e l ’ e n t r o p i e s e t r o u v e e n p a r t i e p e r d u p a s u n n o m b r e d ’ é c h a n g e s p l u s i m p o r t a n t . 0 2000 4000 6000 8000 10000 0.00 0.05 0 . 10 0.15 0.20 0.25 0. 30 0.35 T ai ll e de l 'échan till on Entropie F i g . 4 . E v o l u t i o n d e l ’ e n t r o p i e ( P P V ) e n f o n c t i o n d e l a t a i l l e d e l ’ é c h a n t i l l o n p o u r d e s t i r a g e s a l é a t o i r e s e n d i m e n s i o n 3 0 500 1000 1500 2000 0.0 0.5 1.0 1. 5 2.0 2.5 N ombre d' échan ges Entropie F i g . 5 . E v o l u t i o n d e l ’ e n t r o p i e ( P P V ) a u c o u r s d e l ’ a l g o r i t h m e d ’ é c h a n g e p o u r d e s p l a n s d e t a i l l e 3 0 e n d i m e n s i o n 3 R e m a r q u e : U n e g é n é r a l i s a t i o n d e c e t t e e s t i m a t i o n a u k è m e p l u s p r o c h e v o i s i n a é t é p r o p o s é e p a r S i n g h e t a l . ( 2 0 0 3 ) . E l l e p e r m e t d ’ a t t é n u e r l e s g r a n d e s f l u c t u a t i o n s d e l ’ e n t r o p i e e n g e n d r é e s l e s p e t i t e s f l u c t u a t i o n s d e s p e t i t e s v a l e u r s d e ρ i . C e t t e m é t h o d e p r é s e n t e u n i n t é r ê t l o r s q u ’ o n t r a v a i l l e s u r d e s d o n n é e s r é e l l e s c a r a l o r s l e s d i s t a n c e s ρ i n e s o n t p a s c o n n u e s a v e c p r é c i s i o n . C e q u i n ’ e s t p a s l e c a s d a n s l e c a d r e d e c e t r a v a i l o ù l e s d o n n é e s s i m u l é e s f o u r n i s s e n t d e s d i s t a n c e s e x a c t e s . I l s e m b l e a l o r s p r é f é r a b l e d e p r e n d r e k = 1 , c e q u i p e r m e t d e d i s c r i m i n e r l e s p e t i t e s d i s t a n c e s e n t r e l e s p o i n t s . 4 . C o m p a r a i s o n d e s p l a n s A f i n d e j u g e r d e l ’ i n t é r ê t d e l a m é t h o d e d e c o n s t r u c t i o n , n o u s a v o n s c o n s t r u i t d e s p l a n s e n d i m e n s i o n 2 , 3 e t 1 0 p o u r u n e t a i l l e s t a n d a r d f i x é e à n = 1 0 × d . L e p l a n i s s u d e l ’ a l g o r i t h m e d ’ é c h a n g e d é p e n d p l u s o u m o i n s d u p l a n i n i t i a l c h o i s i a l é a t o i r e m e n t . A f i n d e r é d u i r e c e t t e d é p e n d a n c e , p l u s i e u r s i n i t i a l i s a t i o n s s o n t t e s t é e s e t l e m e i l l e u r p l a n e s t s é l e c t i o n n é . D a n s l e s p a r a g r a p h e s s u i v a n t s , p l u s i e u r s p l a n s s o n t c o n s t r u i t s m a i s à p a r t i r d ’ u n e s e u l e i n i t i a l i s a t i o n d e f a ç o n à é t u d i e r l ’ i n f l u e n c e d u p l a n i n i t i a l . 4 . 1 . A m é l i o r a t i o n d e l a d i s t r i b u t i o n i n i t i a l e L ’ o b j e c t i f d e l a m é t h o d e d e c o n s t r u c t i o n e s t u n r e m p l i s s a g e u n i f o r m e d e l ’ e s p a c e d e s p a r a m è t r e s . O n c o n s t a t e v i s u e l l e m e n t s u r l a f i g u r e 6 q u e c e t o b j e c t i f e s t a t t e i n t p o u r l e s d e u x m é t h o d e s , e t c e , q u e l l e q u e s o i t l ’ i n i t i a l i s a t i o n d u p l a n . O n r e m a r q u e q u e l e s p l a n s f i n a u x p r é s e n t e n t l e s m ê m e s c a r a c t é r i s t i q u e s . L e s p o i n t s d u p l a n s o n t d i s p o s é s a u b o r d d u d o m a i n e m a i s a u s s i à l ’ i n t é r i e u r à l a f a ç o n d ’ u n e g r i l l e r é g u l i è r e l é g è r e m e n t p e r t u r b é e . 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 Plan initial I n i t i a l i s a t i o n a l é a t o i r e 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 Plan fina l M é t h o d e d e M o n t e C a r l o a v e c n o y a u x g a u s s i e n s 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 Plan fina l M é t h o d e d e s p l u s p r o c h e s v o i s i n s 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 Plan initial I n i t i a l i s a t i o n s u i v a n t u n e l o i B ê t a 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 Plan fina l M é t h o d e d e M o n t e C a r l o a v e c n o y a u x g a u s s i e n s 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 Plan fina l M é t h o d e d e s p l u s p r o c h e s v o i s i n s F i g . 6 . R é s u l t a t d e l ’ a l g o r i t h m e d ’ é c h a n g e p o u r u n p l a n d e d i m e n s i o n 2 e t d e t a i l l e 2 0 C h a q u e p a r a m è t r e e s t t e s t é s u r u n g r a n d n o m b r e d e n i v e a u x a v e c t o u t e f o i s d e s r é p é t i t i o n s a u x e x t r é m i t é s . D e m ê m e q u e l e c r i t è r e m a x i m i n ( K o e l h e r & O w e n , 1 9 9 6 ) , l e c r i t è r e p r o p o s é i c i p r i v i l é g i e l e s b o r d s d u d o m a i n e e t n o n l ’ i n t é r i e u r ( c f . f i g u r e 7 ) . P r o j e c t i o n d ’ u n p l a n 1 0 d s u r c h a q u e a x e P r o j e c t i o n d ’ u n p l a n 1 0 d s u r l e p l a n X 1 X 2 0 2 4 6 8 10 0.0 0.2 0.4 0.6 0.8 1.0 Ax es Projection s 0.0 0.2 0 . 4 0.6 0.8 1 . 0 0.0 0.2 0.4 0.6 0 . 8 1.0 X1 X2 P l a n c o n s t r u i t p a r l a m é t h o d e M o n t e C a r l o a v e c n o y a u x g a u s s i e n s 0 2 4 6 8 10 0.0 0. 2 0.4 0 . 6 0.8 1.0 Ax es Projectio ns 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0. 2 0.4 0 . 6 0.8 1.0 X1 X2 P l a n c o n s t r u i t p a r l a m é t h o d e d e s p l u s p r o c h e s v o i s i n s F i g . 7 . P r o j e c t i o n s d e p l a n s d e d i m e n s i o n 1 0 e t d e t a i l l e 1 0 0 4 . 2 . C r i t è r e s e t p l a n s u s u e l s L e s c r i t è r e s E t u d i e r l ’ u n i f o r m i t é d ’ u n e d i s t r i b u t i o n d e p o i n t s l o r s q u e d ≥ 2 , n e p e u t s e f a i r e v i s u e l l e m e n t . I l e s t d o n c u t i l e d e s e r é f é r e r à d e s c r i t è r e s a f i n d e p o u v o i r d é c i d e r s i u n e d i s t r i b u t i o n e s t u n i f o r m e o u n o n o u / e t s i e l l e v é r i f i e é g a l e m e n t l e b o n r e m p l i s s a g e d e l ’ e s p a c e . I l e x i s t e p o u r c e l a d e s c r i t è r e s i n t r i n s è q u e s a u x p l a n s d ’ e x p é r i e n c e s − c ’ e s t - à - d i r e d e s c r i t è r e s q u i n e p r é j u g e n t e n r i e n d e l a q u a l i t é d e l a s u r f a c e d e r é p o n s e d é t e r m i n é e p a r l a s u i t e à p a r t i r d e c e s p l a n s − q u i s e p r ê t e n t p a r t i c u l i è r e m e n t b i e n à c e t o b j e c t i f . N o u s a v o n s c h o i s i d e t e s t e r u n i q u e m e n t l e s c r i t è r e s d ’ u n i f o r m i t é l e s p l u s c o u r a n t s . • L a m e s u r e d e r e c o u v r e m e n t ( C o v ) . E l l e p e r m e t d e m e s u r e r l ’ é c a r t e n t r e l e s p o i n t s d u p l a n e t c e u x d ’ u n e g r i l l e r é g u l i è r e ( G u n z b u r g e r e t a l . , 2 0 0 4 ) . C e c r i t è r e e s t n u l p o u r u n e g r i l l e r é g u l i è r e . L ’ o b j e c t i f e s t d o n c d e l e m i n i m i s e r p o u r s e r a p p r o c h e r d ’ u n e g r i l l e r é g u l i è r e , e t a i n s i a s s u r e r l e r e m p l i s s a g e d e l ’ e s p a c e , s a n s t o u t e f o i s l ’ a t t e i n d r e p o u r r e s p e c t e r u n e d i s t r i b u t i o n u n i f o r m e . • L a d i s t a n c e m a x i m i n ( M i n d i s t ) . J o h n s o n e t a l . ( 1 9 9 0 ) o n t i n t r o d u i t l e s d i s t a n c e s m a x i m i n e t m i n i m a x a f i n d e c o n s t r u i r e d e s p l a n s r é p o n d a n t à l a q u e s t i o n d e r e m p l i s s a g e d e l ’ e s p a c e . L e c r i t è r e m a x i m i n c o n s i s t e à m a x i m i s e r l a d i s t a n c e m i n i m a l e e n t r e d e u x p o i n t s d u p l a n . • L a d i s c r é p a n c e ( D L 2 , D C 2 ) . C o n t r a i r e m e n t a u x d e u x c r i t è r e s p r é c é d e n t s , l a d i s c r é p a n c e n ’ e s t p a s b a s é e s u r l a d i s t a n c e e n t r e l e s p o i n t s . E l l e p e r m e t d e m e s u r e r l ’ é c a r t e n t r e l a f o n c t i o n d e r é p a r t i t i o n e m p i r i q u e d e s p o i n t s d u p l a n e t c e l l e d e l a l o i u n i f o r m e . I l e x i s t e d i f f é r e n t e s m e s u r e s d e d i s c r é p a n c e ( N i e d e r r e i t e r , 1 9 8 7 , T h i é m a r d , 2 0 0 0 ) . N o u s r e t e n o n s l a d i s c r é p a n c e e n n o r m e L 2 e t l a d i s c r é p a n c e e n n o r m e L 2 c e n t r é e . L e s p l a n s u s u e l s L e s p l a n s c o n s t r u i t s i c i s o n t c o m p a r é s a v e c l e s p l a n s u s u e l l e m e n t u t i l i s é s e n e x p é r i e n c e s n u m é r i q u e s . N o u s c o n s e i l l o n s l a l e c t u r e d e s t r a v a u x d e K o e h l e r & O w e n ( 1 9 9 6 ) e t F r a n c o ( 2 0 0 8 ) p o u r u n é t a t d e l ’ a r t c o n c e r n a n t l e s « s p a c e f i l l i n g d e s i g n s » . O n n o t e r a q u e c e r t a i n s d e c e s p l a n s s o n t o p t i m a u x p o u r l e s c r i t è r e s c i t é s c i - d e s s u s . • A l é a t o i r e : p l a n s c o n s t r u i t s p a r t i r a g e a l é a t o i r e d a n s l e c u b e u n i t é . • L H : p l a n s c o n s t r u i t s à p a r t i r d ’ h y p e r c u b e s l a t i n s ( s a n s c r i t è r e d ’ o p t i m i s a t i o n ) ( S t e i n , 1 9 8 7 ) . • D i s c r é p a n c e : s u i t e s à f a i b l e d i s c r é p a n c e ( S o b o l , N i e d e r r e i t e r , H a m m e r s l e y , H a l t o n ) ( N i e d e r r e i t e r , 1 9 8 7 , T h i é m a r d , 2 0 0 0 ) . • D m a x : p l a n s à e n t r o p i e m a x i m a l e ( S h e w r y & W y n n , 1 9 8 7 , C u r r i n e t a l . , 1 9 8 8 ) c o n s t r u i t s d e f a ç o n à m a x i m i s e r l e d é t e r m i n a n t d ’ u n e m a t r i c e d e c o v a r i a n c e . C e s p l a n s s o n t a i n s i t r è s u t i l i s é s l o r s q u e l a s u r f a c e d e r é p o n s e e s t a j u s t é e p a r k r i g e a g e . I l s s u p p o s e n t c e p e n d a n t u n m o d è l e s o u s - j a c e n t . • S t r a u s s : p l a n s é l a b o r é s à p a r t i r d ’ u n p r o c e s s u s d e S t r a u s s q u i c o n s i d è r e d e l a r é p u l s i o n e n t r e l e s p o i n t s d e m a n i è r e à r e m p l i r a u m i e u x l ’ e s p a c e d e s p a r a m è t r e s ( F r a n c o , 2 0 0 8 ) • M a x i m i n : p l a n s o p t i m a u x p o u r l e c r i t è r e m a x i m i n ( J o h n s o n e t a l . , 1 9 9 0 ) . • M C G a u s s : p l a n s d ’ i n f o r m a t i o n K L m i n i m a l e c o n s t r u i t s p a r l a m é t h o d e d é c r i t e p r é c é d e m m e n t • P P V : p l a n s c o n s t r u i t s p a r e s t i m a t i o n d e l ’ e n t r o p i e p a r p l u s p r o c h e v o i s i n E n d i m e n s i o n 3 ( f i g u r e 8 ) , l e s p l a n s d ’ i n f o r m a t i o n K L m i n i m a l e d o n n e n t l e s m e i l l e u r e s v a l e u r s e x c e p t é e s p o u r l e c r i t è r e d e d i s c r é p a n c e . C e r é s u l t a t e s t i n a t t e n d u , c a r l e s c r i t è r e s d ’ e n t r o p i e e t d e d i s c r é p a n c e v i s e n t t o u s l e s d e u x à m i n i m i s e r l ’ é c a r t e n t r e l a d i s t r i b u t i o n e m p i r i q u e e t l a l o i u n i f o r m e a l o r s q u e l e s c r i t è r e s d e r e c o u v r e m e n t e t d e d i s t a n c e m a x i m i n s o n t b a s é s s u r l a d i s t a n c e e n t r e l e s p o i n t s . C e r é s u l t a t p e u t s ’ e x p l i q u e r p a r l a d i f f i c u l t é à é v a l u e r l a d i s c r é p a n c e . E n e f f e t , l e s t e s t s e f f e c t u é s a v e c d i f f é r e n t e s m é t h o d e s d e c a l c u l d e l a d i s c r é p a n c e ( c e n t r é e , s y m é t r i q u e , . . . ) , a i n s i q u e l e s r é s u l t a t s e n d i m e n s i o n 1 0 , d o n n e n t d e s r é s u l t a t s p a r a d o x a u x . B i e n s o u v e n t , l e s s p a c e f i l l i n g d e s i g n s p e r d e n t d e l e u r s q u a l i t é s e n g r a n d e d i m e n s i o n . L e s t e s t s e n d i m e n s i o n 1 0 ( f i g u r e 9 ) m o n t r e n t q u e c e l a n ’ e s t p a s l e c a s d e s p l a n s d ’ i n f o r m a t i o n K L m i n i m a l e . I l s s e m b l e n t c o n c u r r e n c e r l e s p l a n s m a x i m i n t r a d i t i o n n e l l e m e n t u t i l i s é s e n p h a s e e x p l o r a t o i r e , e t c e c i m ê m e p o u r l e c r i t è r e d e d i s t a n c e m a x i m i n . Al eat oi re LH Di screpance Dmax Strauss Maximin MCGauss PPV 0.1 0.2 0.3 0.4 0.5 Co v Al eat oi re LH Di screpance Dmax Strauss Maximin MCGauss PPV 0.1 0.2 0.3 M indis t Al eat oi re LH Di screpance Dmax Strauss Maximin MCGauss PPV 0.05 0.10 0.15 0.20 DC 2 Al eat oi re LH Di screpance Dmax Strauss Maximin MCGauss PPV 0.008 0.010 0.012 0.014 0.016 DL 2 Al eat oi re LH Di screpance Dmax Strauss Maximin MCGauss PPV -1. 4 0 -1. 3 5 -1. 3 0 -1. 2 5 -1. 2 0 -1. 1 5 -1. 1 0 En t G aus s Al eat oi re LH Di screpance Dmax Strauss Maximin MCGauss PPV -0. 5 0.0 0.5 1.0 1.5 2.0 2.5 En t P PV F i g . 8 . R e p r é s e n t a t i o n d e s c r i t è r e s u s u e l s c a l c u l é s s u r 2 0 p l a n s à 3 0 p o i n t s e n d i m e n s i o n 3 Dmax Strauss Maximin MCGauss PPV -1.125 -1.120 -1.115 -1.110 EntGa uss Dmax Strauss Maximin MCGauss PPV 0.02 0.04 0.06 0.08 0.10 0.12 Co v Dmax Strauss Maximin MCGauss PPV 0.6 0.7 0.8 0.9 1.0 M indis t Dmax Strauss Maximin MCGauss PPV 0.40 0.45 0.50 0.55 0.60 DC 2 Dmax Strauss Maximin MCGauss PPV 4.2e-06 4.4e-06 4.6e-06 4.8e-06 5.0e-06 5.2e-06 5.4e-06 DL 2 Dmax Strauss Maximin MCGauss PPV -2. 8 315 -2. 8 314 -2. 8 313 -2. 8 312 -2. 8 311 -2. 8 310 En t G aus s Dmax Strauss Maximin MCGauss PPV 4.5 5.0 5.5 6.0 6.5 En t P PV F i g . 9 . R e p r é s e n t a t i o n d e s c r i t è r e s u s u e l s c a l c u l é s s u r 2 0 p l a n s à 1 0 0 p o i n t s e n d i m e n s i o n 1 0 Maximin MCGauss PPV - 2 .830998 - 2 .830997 - 2 .830996 - 2 .830995 - 2 .830994 EntGa uss L e s p l a n s d ’ i n f o r m a t i o n K L m i n i m a l e s o n t i n c o n t e s t a b l e m e n t l e s m e i l l e u r s a u r e g a r d d e s c r i t è r e s u s u e l s . L e s p l a n s c o n s t r u i t s à l ’ a i d e d e l a m é t h o d e d e M o n t e C a r l o a v e c n o y a u x g a u s s i e n s s o n t l é g è r e m e n t p l u s p e r f o r m a n t s q u e c e u x c o n s t r u i t s p a r p l u s p r o c h e s v o i s i n s . 4 . 3 . C r i t è r e A L M L e c r i t è r e A L M ( A r b r e s d e L o n g u e u r M i n i m a l e ) p e r m e t , n o n p a s d e m e s u r e r l a r é p a r t i t i o n d e s p o i n t s d ’ u n p l a n d a n s u n e s p a c e m u l t i d i m e n s i o n n e l , m a i s d e l a q u a l i f i e r e t a i n s i c l a s s e r l e s p l a n s s e l o n l e u r s t r u c t u r e : g r i l l e , a l é a t o i r e , e n a m a s , … , s u i v a n t l a c a r t o g r a p h i e e m p i r i q u e d e l a f i g u r e 1 0 . C e c r i t è r e a é t é p r o p o s é p a r F r a n c o e t a l . ( 2 0 0 8 ) s u i t e a u x t r a v a u x d e W a l l e t e t a l . ( 1 9 9 8 ) . F i g . 1 0 . C a r t o g r a p h i e e m p i r i q u e c o n s t r u i t e à p a r t i r d u c r i t è r e d ’ A L M L a c a r t o g r a p h i e d é p e n d d e l a m o y e n n e e t l ’ é c a r t - t y p e d e s l o n g u e u r s d e s a r ê t e s d e s A L M a s s o c i é s a u x p l a n s é t u d i é s . L e s p l a n s d e l a z o n e d e q u a s i - p é r i o d i c i t é p r é s e n t e n t l e m e i l l e u r c o m p r o m i s e n t r e g r i l l e r é g u l i è r e ( r e m p l i s s a g e d e l ’ e s p a c e ) e t d i s t r i b u t i o n a l é a t o i r e ( u n i f o r m i t é ) . L e s p l a n s d ’ i n f o r m a t i o n K L m i n i m a l e f o u r n i s s e n t i c i a u s s i l e s m e i l l e u r s r é s u l t a t s ( f i g u r e s 1 1 e t 1 2 ) a v e c u n e n e t t e d é m a r c a t i o n e n d i m e n s i o n 3 . C e r é s u l t a t c o n f i r m e l e s r e m a r q u e s s u r l e s c a r a c t é r i s t i q u e s d e s p l a n s d e d i m e n s i o n 2 ( § 5 . 1 ) . L e s p l a n s c o n s t r u i t s à l ’ a i d e d e l a m é t h o d e d e M o n t e C a r l o a v e c n o y a u x g a u s s i e n s s o n t l à e n c o r e , p l u s p e r f o r m a n t s q u e c e u x c o n s t r u i t s p a r p l u s p r o c h e s v o i s i n s . 0 0,05 0,1 0,15 0,2 0,25 0,3 0,35 0,4 0,25 0,45 0,65 0,85 1,05 1,25 m s Alea Strauss Dm ax Amas MCGaus s LH PPV Maximin F i g . 1 1 . R e p r é s e n t a t i o n d u c r i t è r e A L M c a l c u l é s u r 2 0 p l a n s à 3 0 p o i n t s e n d i m e n s i o n 3 0 0,05 0,1 0,15 0,2 0,25 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 m s Alea A m as PPV Strauss MCGauss Maximin Dmax F i g . 1 2 . R e p r é s e n t a t i o n d u c r i t è r e A L M c a l c u l é s u r 2 0 p l a n s à 1 0 0 p o i n t s e n d i m e n s i o n 1 0 5 . C o n c l u s i o n s L ’ o b j e c t i f d u c r i t è r e p r é s e n t é d a n s c e r a p p o r t e s t d e m i n i m i s e r l ’ é c a r t e n t r e l a d i s t r i b u t i o n e m p i r i q u e d e s p o i n t s d u p l a n e t l a l o i u n i f o r m e . M i n i m i s e r l ’ i n f o r m a t i o n d e K u l l b a c k - L e i b l e r p o u r o p t i m i s e r c e c r i t è r e r e v i e n t à m a x i m i s e r l ’ e n t r o p i e . A i n s i , t o u t e l a t e c h n i q u e d e c o n s t r u c t i o n d e s p l a n s r e p o s e s u r l ’ e s t i m a t i o n d e l ’ e n t r o p i e . C e l l e - c i s e f a i t p a r d e u x m é t h o d e s d i f f é r e n t e s . L a p r e m i è r e e s t u n e m é t h o d e d e M o n t e C a r l o d a n s l a q u e l l e l a f o n c t i o n d e d e n s i t é e s t e s t i m é e à l ’ a i d e d e n o y a u x g a u s s i e n s . L a d e u x i è m e é v i t e l ’ e s t i m a t i o n d e l a f o n c t i o n d e d e n s i t é e n u t i l i s a n t u n e m é t h o d e b a s é e s u r l a d i s t a n c e a u x p l u s p r o c h e s v o i s i n s . L e s t e s t s e f f e c t u é s m o n t r e n t q u e l e s p l a n s d ’ i n f o r m a t i o n K L m i n i m a l e r é p o n d e n t à l ’ o b j e c t i f p r i n c i p a l , à s a v o i r u n e b o n n e r e p r é s e n t a t i o n d u d o m a i n e d e s i m u l a t i o n p a r l e s p o i n t s d u p l a n , e t c e , m ê m e e n g r a n d e d i m e n s i o n . Q u e l q u e s o i t l e c r i t è r e c h o i s i , c e s p l a n s c o n c u r r e n c e n t l e s s p a c e f i l l i n g d e s g i n s u s u e l s e t n o t a m m e n t l e s p l a n s m a x i m i n h a b i t u e l l e m e n t u t i l i s é s e n p h a s e e x p l o r a t o i r e . M a l g r é d e s c o n d i t i o n s é l o i g n é e s d e l ’ a s y m p t o t i q u e , u n c r i t è r e b a s é s u r l ’ e s t i m a t i o n d e l ’ e n t r o p i e d e S h a n n o n f o u r n i t d e t r è s b o n s r é s u l t a t s , a v e c u n e l é g è r e a v a n c e p o u r l a m é t h o d e d e M o n t e C a r l o . C e p e n d a n t , l o r s q u e l a d i m e n s i o n a u g m e n t e , l a m é t h o d e d ’ e s t i m a t i o n p a r M o n t e C a r l o d e v i e n t m o i n s p e r f o r m a n t e l o r s q u e l ’ é c h a n t i l l o n e s t d e p e t i t e t a i l l e . D e p l u s , é t a n t d o n n é e q u e l a d e n s i t é d o i t ê t r e r é - e s t i m é e à c h a q u e é c h a n g e , c e t t e m é t h o d e r e q u i è r e u n t e m p s d e c a l c u l p r o h i b i t i f . E n r e v a n c h e , L e o n e n k o e t a l . s o u l i g n e n t q u e l a m é t h o d e d e s p l u s p r o c h e s v o i s i n s s e p r ê t e p a r t i c u l i è r e m e n t b i e n a u x g r a n d e s d i m e n s i o n s . U n e p e r s p e c t i v e c o n s i s t e à d é f i n i r l e c r i t è r e à p a r t i r d ’ u n e e n t r o p i e d i f f é r e n t e d e c e l l e d e S h a n n o n , p a r e x e m p l e , l ’ e n t r o p i e d e R é n y i q u i p e u t ê t r e e s t i m é e à p a r t i r d e s a r b r e s d e l o n g u e u r m i n i m a l ( H e r o e t a l . , 2 0 0 2 ) , o u b i e n l ’ e n t r o p i e d e T s a l l i s q u i , à l ’ o r d r e d e u x e t d a n s l e c a s d ’ u n e m é t h o d e d ’ e s t i m a t i o n d e l a d e n s i t é p a r n o y a u x g a u s s i e n s , s ’ é c r i t d e f a ç o n a n a l y t i q u e c o m m e u n e s o m m e d e s n o y a u x e t é v i t e a i n s i l ’ e r r e u r d ’ a p p r o x i m a t i o n d e l a m é t h o d e d e M o n t e C a r l o ( B e t t i n g e r e t a l . , 2 0 0 8 ) . R E F E R E N C E S [ 1 ] A h m a d I . A . , L i n P . E . ( 1 9 7 6 ) . A n o n p a r a m e t r i c e s t i m a t i o n o f t h e e n t r o p y f o r a b s o l u t e l y c o n t i n o u s d i s t r i b u t i o n s . I E E E T r a n s . I n f o r m a t i o n T h e o r y , 3 5 , p p . 6 8 8 - 6 9 2 . [ 2 ] A h m e d N . A , G o k h a l e D . V . ( 1 9 8 9 ) . E n t r o p y e x p r e s s i o n s a n d t h e i r e s t i m a t o r s f o r m u l t i v a r i a t e d i s t r i b u t i o n s . I E E E T r a n s a c t i o n s o n I n f o r m a t i o n T h e o r y , 3 5 ( 3 ) , p p . 6 8 8 - 6 9 2 . [ 3 ] B e i r l a n t J . , D u d e w i c z E . J . , G y ö r f i L . , V a n D e r M e u l e n E . C . ( 1 9 9 7 ) . N o n p a r a m e t r i c e n t r o p y e s t i m a t i o n : a n o v e r v i e w . I n t . J . M a t h . S t a t . S c i . , 6 ( 1 ) 1 7 - 3 9 . [ 4 ] B e t t i n g e r R . , D u c h ê n e P . , P r o n z a t o L . , T h i e r r y E . ( 2 0 0 8 ) . D e s i g n o f e x p e r i m e n t s f o r r e s p o n s e d i v e r s i t y . I n P r o c . 6 t h I n t e r n a t i o n a l C o n f e r e n c e o n I n v e r s e P r o b l e m s i n E n g i n e e r i n g ( I C I P E ) , J o u r n a l o f P h y s i c s : C o n f e r e n c e S e r i e s } , D o u r d a n ( P a r i s ) , 1 5 - 1 9 j u i n 2 0 0 8 , t o a p p e a r . h t t p : / / h a l . a r c h i v e s - o u v e r t e s . f r / h a l - 0 0 2 9 0 4 1 8 / f r / [ 5 ] C h a l o n e r K . , V e r d i n e l l i I . ( 1 9 9 5 ) . B a y e s i a n E x p e r i m e n t a l D e s i g n : A r e v i e w . S t a t i s t . S c i . , 1 0 , 2 3 7 - 3 0 4 . [ 6 ] C u r r i n C . , M i t c h e l l T . , M o r r i s M . , Y l v i s a k e r D . ( 1 9 8 8 ) . A b a y e s i a n a p p r o a c h t o t h e d e s i g n a n d a n a l y s i s o f c o m p u t e r e x p e r i m e n t s . O R N L T e c h n i c a l R e p o r t 6 4 9 8 , a v a i l a b l e f r o m t h e n a t i o n a l t e c h n i c a l i n f o r m a t i o n s e r v i c e , S p r i n g f i e l d , V a . 2 2 1 6 1 . [ 7 ] D i m i t r i e v Y . G , T a r a s e n k o F . P . ( 1 9 7 3 ) . O n t h e e s t i m a t i o n f u n c t i o n s o f t h e p r o b a b i l i t y d e n s i t y a n d i t s d e r i v a t i v e s . T h e o r y P r o b a b . A p p l . , 1 8 , 6 2 8 - 6 3 3 . [ 8 ] D u d e w i c z E . J . , V a n D e r M e u l e n E . C . ( 1 9 8 1 ) . E n t r o p y - B a s e d t e s t s o f u n i f o r m i t y . J . A m e r . S t a t i s t . A s s o c . , 7 6 , 9 6 7 - 9 7 4 . [ 9 ] F r a n c o J ( 2 0 0 8 ) . P l a n i f i c a t i o n d ’ e x p é r i e n c e s n u m é r i q u e s e n p h a s e e x p l o r a t o i r e p o u r d e s c o d e s d e c a l c u l s s i m u l a n t d e s p h é n o m è n e s c o m p l e x e s . T h è s e p r é s e n t é e à l ’ E c o l e N a t i o n a l e S u p é r i e u r e d e s M i n e s d e S a i n t - E t i e n n e [ 1 0 ] F r a n c o J . , V a s s e u r O . , C o r r e B . , S e r g e n t M . ( 2 0 0 8 ) . M i n i m u m S p a n n i n g T r e e : A n e w a p p r o a c h t o a s s e s s t h e q u a l i t y o f t h e d e s i g n o f c o m p u t e r e x p e r i m e n t s . T o a p p e a r i n C h e m o m e t r i c s a n d I n t e l l i g e n t L a b o r a t o r y S y s t e m s . [ 1 1 ] G u n z b u r g e r M . , B u r k a r d t J . ( 2 0 0 4 ) . U n i f o r m i t y m e a s u r e s f o r p o i n t s a m p l e i n h y p e r c u b e s . h t t p s : / / p e o p l e . s c s . f s u . e d u / ~ b u r k a r d t / p d f / p t m e a s . p d f [ 1 2 ] H a r n e r , E . J a m e s , S i n g h H . , L i , S . , a n d J u n T a n ( 2 0 0 4 ) C o m p u t a t i o n a l C h a l l e n g e s i n C o m p u t i n g N e a r e s t N e i g h b o r E s t i m a t e s o f E n t r o p y f o r L a r g e M o l e c u l e s . P r o c e e d i n g o f t h e 3 6 t h S y m p o s i u m o n t h e I n t e r f a c e : C o m p u t a t i o n a l B i o l o g y a n d B i o i n f o r m a t i c s , m a y 2 6 - 2 9 . [ 1 3 ] H e r o A . , B i n g M a , M i c h e l O . , G o r m a n J . ( 2 0 0 2 ) . A p p l i c a t i o n s o f e n t r o p i c s p a n n i n g g r a p h s . S i g n a l P r o c e s s i n g M a g a z i n e , I E E E , 1 9 , 8 5 – 9 5 . [ 1 4 ] J o e H . ( 1 9 8 9 ) . E s t i m a t i o n o f e n t r o p y a n d o t h e r f u n c t i o n a l o f m u l t i v a r i a t e d e n s i t y . A n n . I n t . S t a t i s t . M a t h . , 4 1 , 6 8 3 - 6 9 7 . [ 1 5 ] J o h n s o n M . E . , M o o r e L . M . , Y l v i s a k e r D . ( 1 9 9 0 ) . M i n i m a x a n d m a x i m i n d i s t a n c e d e s i g n . J . S t a t i s t . P l a n n . I n f . , 2 6 , 1 3 1 - 1 4 8 . [ 1 6 ] K o e h l e r J . R . , O w e n A . B ( 1 9 9 6 ) . C o m p u t e r E x p e r i m e n t s . H a n d b o o k o f s t a t i s t i c s , 1 3 , 2 6 1 - 3 0 8 . [ 1 7 ] K o s a c h e n k o L . F . , L e o n e n k o N . N . ( 1 9 8 7 ) . S a m p l e e s t i m a t e o f e n t r o p y o f a r a n d o m v e c t o r . P r o b l e m o f I n f o r m a t i o n T r a n s m i s s i o n , 2 3 , 9 5 - 1 0 1 . [ 1 8 ] K u l l b a c k S . , L e i b l e r R . A . ( 1 9 5 1 ) . O n i n f o r m a t i o n a n d s u f f i c i e n c y . A n n . M a t h . S t a t i s t . , 2 2 7 9 - 8 6 . [ 1 9 ] L e o n e n k o N , P r o n z a t o L , S a v a n i V . A c l a s s o f R é n y i i n f o r m a t i o n e s t i m a t o r s f o r m u l t i d i m e n s i o n a l d e n s i t i e s . A n n a l s o f S t a t i s t i c s , t o a p p e a r . [ 2 0 ] N i e d e r r e i t e r H . ( 1 9 8 7 ) . P o i n t s e t s a n d s e q u e n c e s w i t h s m a l l d i s c r e p a n c y . M o n a s t h . M a t h . , 1 0 4 , 2 7 3 - 3 3 7 . [ 2 1 ] S c o t t D . W . ( 1 9 9 2 ) . M u l t i v a r i a t e D e n s i t y E s t i m a t i o n : T h e o r y , p r a c t i c e a n d v i s u a l i z a t i o n , J o h n W i l e y & S o n s , N e w Y o r k , C h i c h e s t e r . [ 2 2 ] S e b a s t i a n i P . & W y n n H . P . ( 2 0 0 0 ) , M a x i m u m e n t r o p y s a m p l i n g a n d o p t i m a l B a y e s i a n e x p e r i m e n t a l d e s i g n . J . R o y a l S t a t i s t . S o c . , 6 2 , 1 4 5 - 1 5 7 [ 2 3 ] S h e w r y M . C . , W y n n H . P . ( 1 9 8 7 ) . M a x i m u m E n t r o p y S a m p l i n g . J . A p p l . S t a t i s t . , 1 4 , 1 6 5 - 1 7 0 . [ 2 4 ] S i l v e r m a n B . W . ( 1 9 8 6 ) . D e n s i t y e s t i m a t i o n f o r s t a t i s t i c s a n d d a t a a n a l y s i s . C h a p m a n & H a l l , L o n d o n . [ 2 5 ] S i n g h , H . , M i s r a , N . , H n i z d o , V . , F e d o r o w i c z , A . & D e m c h u k , E . ( 2 0 0 3 ) N e a r e s t n e i g h b o r e s t i m a t e s o f e n t r o p y . A m . J . M a t h . M a n a g e . S c i . , 2 3 , p p . 3 0 1 - 3 2 1 . [ 2 6 ] S t e i n M . ( 1 9 8 7 ) . L a r g e s a m p l e p r o p e r t i e s o f s i m u l a t i o n s u s i n g l a t i n h y p e r c u b e s a m p l i n g . T e c h o m e t r i c s , 2 9 , 1 4 3 - 1 5 1 . [ 2 7 ] T h i é m a r d E . ( 2 0 0 0 ) . S u r l e c a l c u l e t l a m a j o r a t i o n d e l a d i s c r é p a n c e à l ’ o r i g i n e . T h è s e p r é s e n t é e a u d é p a r t e m e n t d e m a t h é m a t i q u e s d e l ’ é c o l e p o l y t e c h n i q u e f é d é r a l e d e L a u s a n n e [ 2 8 ] W a l l e t F . , D u s s e r t C . ( 1 9 9 8 ) . C o m p a r i s o n o f s p a t i a l p o i n t p a t t e r n s a n d p r o c e s s e s c h a r a c t e r i z a t i o n m e t h o d s . E u r o p h y s i c s L e t t . , 4 2 , 4 9 3 - 4 9 8 . A N N E X E 1 : C a l c u l d e l a p r o b a b i l i t é d ’ u n n o y a u n o n n u l d a n s l a m é t h o d e d e M o n t e C a r l o p a r n o y a u x u n i f o r m e o u d ’ E p a n e c h n i k o v L e v e c t e u r z p r e n d l e s v a l e u r s s u i v a n t e s h X x z i − = o ù X i e s t u n p o i n t d u p l a n d o n c t e l q u e s e s c o o r d o n n é e s j i X , j = 1 , . . . d s u i v e n t u n e l o i u n i f o r m e s u r [ 0 , 1 ] e t x e s t l e p o i n t o ù o n c h e r c h e à e s t i m e r l a f o n c t i o n d e d e n s i t é . L e n o y a u e s t n o n n u l s i 1 z ≤ ⇔ 1 z 2 ≤ D a n s l a m é t h o d e d e M o n t e C a r l o u t i l i s é e , l a f o n c t i o n d e d e n s i t é e s t e s t i m é u n i q u e m e n t a u x p o i n t s d u p l a n , c e q u i s i g n i f i e q u e l e s c o o r d o n n é e s x j , j = 1 , . . . , d s u i v e n t a u s s i u n e l o i u n i f o r m e s u r [ 0 , 1 ] . S u p p o s o n s q u e x ≠ X i ( s i n o n l e n o y a u x e s t n o n n u l e t p r e n d l a v a l e u r α ) , a l o r s 1 X x 1 j i j ≤ − ≤ − ⇒ ( ) 1 X x 0 2 j i j ≤ − ≤ ⇒ ( ) d X x 0 d 1 j 2 j i j ≤ − ≤ ∑ = ⇒ 2 2 h / d z 0 ≤ ≤ D o n c l a n o r m e d e z a u c a r r é s u i t u n e l o i u n i f o r m e s u r [ 0 , d / h 2 ] , d ’ o ù ( ) d / h 1 z P 2 2 = ≤ . O r ) 4 d /( 2 2 n 1 12 1 h + = e t d 10 n = d o n c ( ) ) 4 d /( 2 2 ) d 10 ( 1 d 12 1 1 z P + = ≤ d 1 2 3 4 5 ( ) 1 z P 2 ≤ 3 , 3 E - 0 2 1 , 5 E - 0 2 1 , 1 E - 0 2 8 , 3 E - 0 3 7 , 0 E - 0 3 d 6 7 8 9 1 0 ( ) 1 z P 2 ≤ 6 , 1 E - 0 3 5 , 5 E - 0 3 5 , 0 E - 0 3 4 , 6 E - 0 3 4 , 3 E - 0 3 A N N E X E 2 : C a l c u l d e l a c o n s t a n t e d e n o r m a l i s a t i o n d a n s l ’ e s t i m a t i o n d e l e d e n s i t é p a r n o y a u x d ’ E p a n e c h n i k o v P r e n o n s l e c a s o ù l e n o y a u e s t p r o d u i t d e n o y a u x d ’ E p a n e c h n i k o v , a l o r s d d 1 0 2 d 1 1 2 d R R d 1 k k R d 1 3 4 dx x 1 2 dx x 1 dx ) x ( K ) x ( K ) x ,..., x ( d d       α =       − α =       − α =       = = ∫ ∫ ∫ ∫ ∏ ∫ − = K E n p o s a n t l ’ i n t é g r a l e é g a l e à 1 , o n o b t i e n t α = 3 / 4 e t c e q u e l l e q u e s o i t l a d i m e n s i o n . P r e n o n s l e c a s o ù l e n o y a u x e s t s p h é r i q u e d e d i m e n s i o n 2 , a l o r s ( ) { } ∫∫ ∫∫ ≤ − α = 1 x 2 R 2 1 2 1 dx x 1 dx dx ) x , x ( 2 K O n p a s s e e n c o o r d o n n é e s p o l a i r e s    θ = θ = sin r y cos r x ⇒       θ θ θ − θ = cos r sin sin r cos J ⇒ r J det = e t 2 2 r 1 x 1 − = − d ’ o ù 2 d dr ) r 1 ( r dx dx ) x , x ( 2 0 1 0 2 R 2 1 2 1 2 π α = θ − α = ∫ ∫ ∫∫ π K D o n c α = 2 / π . P r e n o n s l e c a s o ù l e n o y a u x e s t s p h é r i q u e d e d i m e n s i o n 3 , a l o r s ( ) { } ∫ ∫∫ ∫∫∫ ≤ − α = 1 x 2 R 3 2 1 3 2 1 dx x 1 dx dx dx ) x , x , x ( 3 K O n p a s s e e n c o o r d o n n é e s s p h é r i q u e s      θ = ϕ θ = ϕ θ = cos r z sin sin r y cos sin r x ⇒         θ − θ ϕ θ ϕ θ ϕ θ ϕ θ − ϕ θ ϕ θ = 0 sin r cos cos sin r sin cos r sin sin sin si n r cos cos r cos sin J ⇒ θ = sin r J det 2 ∫ ∫ ∫ ∫∫∫ π π π α = ϕ θ θ − α = 2 0 0 1 0 2 2 R 3 2 1 3 2 1 15 8 d d d r si n r ) r 1 ( dx dx dx ) x , x , x ( 3 K D o n c α = 1 5 / ( 8 π ) . D a n s l e c a s o ù l e n o y a u x e s t s p h é r i q u e d e d i m e n s i o n s u p é r i e u r e à 3 , i l f a u t f a i r e u n e a p p r o x i m a t i o n n u m é r i q u e . P a r e x e m p l e , l a m é t h o d e d e M o n t e C a r l o d o n n e u n e a p p r o x i m a t i o n d e l ’ i n t é g r a l e p a r ∑ = N 1 i i d ) x ( g N V o ù 2 i i x 1 ) x ( g − = , l e s x i s o n t N p o i n t s t i r e r a u h a s a r d t e l s q u e 1 x i ≤ e t V d e s t l e v o l u m e d e l a b o u l e u n i t é e n d i m e n s i o n d , ) 2 / d ( ) 2 / d ( V 2 / d d Γ π = S i d e s t p a i r , d = 2 p , a l o r s ! p )! 1 p ( p ) p ( p V p p p d π = − π = Γ π = . S i d e s t i m p a i r , d = 2 p + 1 , a l o r s ) 2 / 1 p ( )! p 2 ( ! p 2 )! p 2 ( ! p 2 ) 2 / 1 p ( ) 2 / 1 p ( ) 2 / 1 p ( V p 2 p 2 / 1 p 2 2 / 1 p 2 / 1 p d + π = π + π = + Γ + π = + + d 1 2 3 4 5 6 7 8 9 1 0 α α α α 3 / 4 2 / π 1 5 / ( 8 π ) 0 . 6 1 0 . 6 7 0 . 7 7 0 . 9 5 1 . 2 3 1 . 6 6 2 . 3 8 d p a i r d i m p a i r d < - 2 # # v o l u m e d e l a b o u l e u n i t é p < - d / 2 V < - ( p i ^ p ) / f a c t o r i a l ( p ) e s t i m a t e u r < - a r r a y ( 0 , d i m = c ( 1 , 1 0 ) ) # # B o u c l e s u r e s t i m a t e u r f o r ( k i n 1 : 1 0 ) { # # e c h a n t i l l o n N < - 1 0 0 0 0 0 x < - a r r a y ( r u n i f ( N * d , m i n = 0 , m a x = 1 ) , d i m = c ( d , N ) ) # # E s t i m a t i o n c p t < - 0 f o r ( i i n 1 : N ) { n o r m e < - 0 f o r ( j i n 1 : d ) { n o r m e < - n o r m e + x [ j , i ] ^ 2 } i f ( n o r m e < = 1 ) { e s t i m a t e u r [ k ] < - e s t i m a t e u r [ k ] + 1 - n o r m e c p t < - c p t + 1 } } e s t i m a t e u r [ k ] < - e s t i m a t e u r [ k ] * V / c p t } e s t i m < - m e a n ( e s t i m a t e u r ) a l p h a < - 1 / e s t i m d < - 3 # # v o l u m e d e l a b o u l e u n i t é p < - f l o o r ( d / 2 ) V < - ( p i ^ p ) * f a c t o r i a l ( p ) * ( 2 ^ ( 2 * p ) ) / ( f a c t o r i a l ( 2 * p ) * ( p + 0 . 5 ) ) e s t i m a t e u r < - a r r a y ( 0 , d i m = c ( 1 , 1 0 ) ) # # B o u c l e s u r e s t i m a t e u r f o r ( k i n 1 : 1 0 ) { # # e c h a n t i l l o n N < - 1 0 0 0 0 0 x < - a r r a y ( r u n i f ( N * d , m i n = 0 , m a x = 1 ) , d i m = c ( d , N ) ) # # E s t i m a t i o n c p t < - 0 f o r ( i i n 1 : N ) { n o r m e < - 0 f o r ( j i n 1 : d ) { n o r m e < - n o r m e + x [ j , i ] ^ 2 } i f ( n o r m e < = 1 ) { e s t i m a t e u r [ k ] < - e s t i m a t e u r [ k ] + 1 - n o r m e c p t < - c p t + 1 } } e s t i m a t e u r [ k ] < - e s t i m a t e u r [ k ] * V / c p t } e s t i m < - m e a n ( e s t i m a t e u r ) a l p h a < - 1 / e s t i m P r o g r a m m e R