Pour chaque distance variationnelle V donnée on veut trouver la meilleure borne inférieure possible pour une f-divergence . En d'autres termes, on veut trouver . Dans cette note on résout ce problème pour toute fonction f convexe. Bien que la forme de dépende de l'inversion de quelques expressions, ce qui peut être difficile en général, des simplifications peuvent se produire quand f a une certaine symétrie. Par exemple, si est symétrique dans le sens : , on prouve que . Pour la divergence de Kullback–Leibler K nous obtenons une expression de à l'aide des deux branches réelles de la fonction W de Lambert.
We want to find a lower bound for an f-divergence in terms of variational distance V which is best possible for any given V. In other words, we want to find . In this note we solve this problem for any convex f. Although the form of depends on inverting some expressions which may be difficult in general, simplifications can occur when f has some kind of symmetry. For instance, if is symmetric in the sense that , we show that . For the Kullback–Leibler divergence K we obtain an expression of in terms of the two real branches of Lambert's W function.
Accepté le :
Publié le :
@article{CRMATH_2006__343_11-12_763_0, author = {Gilardoni, Gustavo L.}, title = {On the minimum \protect\emph{f}-divergence for given total variation}, journal = {Comptes Rendus. Math\'ematique}, pages = {763--766}, publisher = {Elsevier}, volume = {343}, number = {11-12}, year = {2006}, doi = {10.1016/j.crma.2006.10.027}, language = {en}, url = {http://archive.numdam.org/articles/10.1016/j.crma.2006.10.027/} }
TY - JOUR AU - Gilardoni, Gustavo L. TI - On the minimum f-divergence for given total variation JO - Comptes Rendus. Mathématique PY - 2006 SP - 763 EP - 766 VL - 343 IS - 11-12 PB - Elsevier UR - http://archive.numdam.org/articles/10.1016/j.crma.2006.10.027/ DO - 10.1016/j.crma.2006.10.027 LA - en ID - CRMATH_2006__343_11-12_763_0 ER -
%0 Journal Article %A Gilardoni, Gustavo L. %T On the minimum f-divergence for given total variation %J Comptes Rendus. Mathématique %D 2006 %P 763-766 %V 343 %N 11-12 %I Elsevier %U http://archive.numdam.org/articles/10.1016/j.crma.2006.10.027/ %R 10.1016/j.crma.2006.10.027 %G en %F CRMATH_2006__343_11-12_763_0
Gilardoni, Gustavo L. On the minimum f-divergence for given total variation. Comptes Rendus. Mathématique, Tome 343 (2006) no. 11-12, pp. 763-766. doi : 10.1016/j.crma.2006.10.027. http://archive.numdam.org/articles/10.1016/j.crma.2006.10.027/
[1] A general class of coefficients of divergence of one distribution from another, J. Roy. Statist. Soc. Ser. B, Volume 28 (1966), pp. 131-142
[2] On the Lambert W function, Adv. Comput. Math., Volume 5 (1996) no. 4, pp. 329-359
[3] Information-type measures of difference of probability distributions and indirect observations, Studia Sci. Math. Hungar., Volume 2 (1967), pp. 299-318
[4] Nonlinear diffusions and optimal constants in Sobolev type inequalities: asymptotic behaviour of equations involving the p-Laplacian, C. R. Acad. Sci. Paris, Ser. I, Volume 334 (2002) no. 5, pp. 365-370
[5] Refinements of Pinsker's inequality, IEEE Trans. Inform. Theory, Volume 49 (2003), pp. 1491-1498
[6] Note on discrimination information and variation, IEEE Trans. Inform. Theory, Volume 16 (1970), pp. 771-773
Cité par Sources :