Soit P une loi de probabilité discrète sur un espace infini dénombrable . On étudie la vitesse de convergence presque sûre de l'estimateur « plug-in » de l'entropie H :=H(P) de la loi de probabilité inconnue P. On démontre aussi la convergence presque sûre de l'estimateur pour des variables aléatoires stationnaires ergodiques, et pour des variables aléatoires stationnaires α-mélangeantes sous une condition faible sur la queue de distribution de la loi P.
Suppose P is a discrete distribution on an infinite countable space . We study the almost surely convergence rate of the ‘plug-in’ estimate of the entropy H:=H(P) of the arbitrary distribution P. We prove also the consistency of the estimate for ergodic stationary random variables and for α-mixing stationary random variables under weak assumptions on the tail of the distribution P.
Révisé le :
Publié le :
@article{CRMATH_2002__335_9_763_0,
author = {Keziou, Amor},
title = {Sur l'estimation de l'entropie des lois \`a support d\'enombrable},
journal = {Comptes Rendus. Math\'ematique},
pages = {763--766},
publisher = {Elsevier},
volume = {335},
number = {9},
year = {2002},
doi = {10.1016/S1631-073X(02)02559-1},
language = {fr},
url = {http://archive.numdam.org/articles/10.1016/S1631-073X(02)02559-1/}
}
TY - JOUR AU - Keziou, Amor TI - Sur l'estimation de l'entropie des lois à support dénombrable JO - Comptes Rendus. Mathématique PY - 2002 SP - 763 EP - 766 VL - 335 IS - 9 PB - Elsevier UR - http://archive.numdam.org/articles/10.1016/S1631-073X(02)02559-1/ DO - 10.1016/S1631-073X(02)02559-1 LA - fr ID - CRMATH_2002__335_9_763_0 ER -
%0 Journal Article %A Keziou, Amor %T Sur l'estimation de l'entropie des lois à support dénombrable %J Comptes Rendus. Mathématique %D 2002 %P 763-766 %V 335 %N 9 %I Elsevier %U http://archive.numdam.org/articles/10.1016/S1631-073X(02)02559-1/ %R 10.1016/S1631-073X(02)02559-1 %G fr %F CRMATH_2002__335_9_763_0
Keziou, Amor. Sur l'estimation de l'entropie des lois à support dénombrable. Comptes Rendus. Mathématique, Tome 335 (2002) no. 9, pp. 763-766. doi : 10.1016/S1631-073X(02)02559-1. http://archive.numdam.org/articles/10.1016/S1631-073X(02)02559-1/
[1] Convergence properties of functional estimates for discrete distributions, Random Structures Algorithms, Volume 1 (2001), pp. 163-193
[2] Estimating the entropy of discrete distributions, IEEE Internat. Sympos. Inform. Theory, Volume 1 (2001), pp. 45-51
[3] On a statistical estimate for the entropy of a sequence of independent random variables, Theory Probab. Appl., Volume 4 (1959), pp. 333-336
[4] E. Guerre, Méthodes non paramétriques d'analyse des séries temporelles multivariées : estimation de mesures de dépendance, Doc. d'univ., Math., Paris 6, 1993
[5] Convergence of Stochastic Processes, Springer-Verlag, 1984
[6] Théorie asymptotique des processus aléatoires faiblement dépendants, Springer-Verlag, 2000
[7] Fifty years of Shannon theory, IEEE Trans. Inform. Theory, Volume 44 (1998) no. 6, pp. 2057-2078 (Information theory: 1948–1998)
[8] Universal lossless coding of sources with large or unbounded alphabets (Althfor, I. et al., eds.), Numbers, Information and Complexity, Kluwer Academic, 2000, pp. 421-442
Cité par Sources :
