Challenging the empirical mean and empirical variance: A deviation study
Annales de l'I.H.P. Probabilités et statistiques, Tome 48 (2012) no. 4, pp. 1148-1185.

Nous présentons de nouveaux M-estimateurs de la moyenne et de la variance d'une variable aléatoire réelle, fondés sur des bornes PAC-Bayésiennes. Nous analysons les propriétés minimax non-asymptotiques des déviations de ces estimateurs pour des distributions de l'échantillon soit de variance bornée, soit de variance et de kurtosis bornées. Sous ces hypothèses faibles, permettant des distributions à queue lourde, nous montrons que les déviations de la moyenne empirique sont dans le pire des cas sous-optimales. Nous prouvons en effet que pour tout niveau de confiance, il existe un M-estimateur dont les déviations sont du même ordre que les déviations de la moyenne empirique d'un échantillon Gaussien, même dans le cas où la véritable distribution de l'échantillon a une queue lourde. Le comportement expérimental de ces nouveaux estimateurs est du reste encore meilleur que ce que les bornes théoriques laissent prévoir, montrant que la fonction quantile des déviations est constamment en dessous de celle de la moyenne empirique pour des échantillons non Gaussiens aussi simples que des mélanges de deux distributions Gaussiennes.

We present new M-estimators of the mean and variance of real valued random variables, based on PAC-Bayes bounds. We analyze the non-asymptotic minimax properties of the deviations of those estimators for sample distributions having either a bounded variance or a bounded variance and a bounded kurtosis. Under those weak hypotheses, allowing for heavy-tailed distributions, we show that the worst case deviations of the empirical mean are suboptimal. We prove indeed that for any confidence level, there is some M-estimator whose deviations are of the same order as the deviations of the empirical mean of a Gaussian statistical sample, even when the statistical sample is instead heavy-tailed. Experiments reveal that these new estimators perform even better than predicted by our bounds, showing deviation quantile functions uniformly lower at all probability levels than the empirical mean for non-Gaussian sample distributions as simple as the mixture of two Gaussian measures.

DOI : 10.1214/11-AIHP454
Classification : 62G05, 62G35
Mots-clés : non-parametric estimation, M-estimators, PAC-Bayes bounds 
@article{AIHPB_2012__48_4_1148_0,
     author = {Catoni, Olivier},
     title = {Challenging the empirical mean and empirical variance: {A} deviation study},
     journal = {Annales de l'I.H.P. Probabilit\'es et statistiques},
     pages = {1148--1185},
     publisher = {Gauthier-Villars},
     volume = {48},
     number = {4},
     year = {2012},
     doi = {10.1214/11-AIHP454},
     mrnumber = {3052407},
     zbl = {1282.62070},
     language = {en},
     url = {http://archive.numdam.org/articles/10.1214/11-AIHP454/}
}
TY  - JOUR
AU  - Catoni, Olivier
TI  - Challenging the empirical mean and empirical variance: A deviation study
JO  - Annales de l'I.H.P. Probabilités et statistiques
PY  - 2012
SP  - 1148
EP  - 1185
VL  - 48
IS  - 4
PB  - Gauthier-Villars
UR  - http://archive.numdam.org/articles/10.1214/11-AIHP454/
DO  - 10.1214/11-AIHP454
LA  - en
ID  - AIHPB_2012__48_4_1148_0
ER  - 
%0 Journal Article
%A Catoni, Olivier
%T Challenging the empirical mean and empirical variance: A deviation study
%J Annales de l'I.H.P. Probabilités et statistiques
%D 2012
%P 1148-1185
%V 48
%N 4
%I Gauthier-Villars
%U http://archive.numdam.org/articles/10.1214/11-AIHP454/
%R 10.1214/11-AIHP454
%G en
%F AIHPB_2012__48_4_1148_0
Catoni, Olivier. Challenging the empirical mean and empirical variance: A deviation study. Annales de l'I.H.P. Probabilités et statistiques, Tome 48 (2012) no. 4, pp. 1148-1185. doi : 10.1214/11-AIHP454. http://archive.numdam.org/articles/10.1214/11-AIHP454/

[1] P. Alquier. PAC-Bayesian bounds for randomized empirical risk minimizers. Math. Methods Statist. 17 (2008) 279-304. | MR | Zbl

[2] J.-Y. Audibert. A better variance control for PAC-Bayesian classification. Preprint n.905bis, Laboratoire de Probabilités et Modèles Aléatoires, Universités Paris 6 and Paris 7, 2004. Available at http://www.proba.jussieu.fr/mathdoc/textes/PMA-905Bis.pdf.

[3] J.-Y. Audibert and O. Catoni. Robust linear least squares regression. Ann. Statist. 39 (2011) 2766-2794. | MR | Zbl

[4] J.-Y. Audibert and O. Catoni. Robust linear regression through PAC-Bayesian truncation. Unpublished manuscript, 2010. Available at http://hal.inria.fr/hal-00522536.

[5] R. Beran. An efficient and robust adaptive estimator of location. Ann. Statist. 6 (1978) 292-313. | MR | Zbl

[6] P. J. Bickel. On adaptive estimation. Ann. Statist. 10 (1982) 647-671. | MR | Zbl

[7] O. Catoni. Statistical Learning Theory and Stochastic Optimization: École d'Été de Probabilités de Saint-Flour XXXI - 2001. Lecture Notes in Math. 1851. Springer, Berlin, 2004. | MR | Zbl

[8] O. Catoni. PAC-Bayesian Supervised Classification: The Thermodynamics of Statistical Learning. IMS Lecture Notes Monogr. Ser. 56. Institute of Mathematical Statistics, Beachwood, OH, 2007. | MR | Zbl

[9] P. J. Huber. Robust estimation of a location parameter. Ann. Math. Statist. 35 (1964) 73-101. | MR | Zbl

[10] P. J. Huber. Robust Statistics. Wiley Series in Probability and Mathematical Statistics. Wiley-Interscience, New York, 1981. | MR | Zbl

[11] O. Lepski. Asymptotically minimax adaptive estimation I: Upper bounds. Optimally adaptive estimates. Theory Probab. Appl. 36 (1991) 682-697. | MR | Zbl

[12] D. A. Mcallester. PAC-Bayesian model averaging. In Proceedings of the 12th Annual Conference on Computational Learning Theory. Morgan Kaufmann, New York, 1999. | MR

[13] D. A. Mcallester. Some PAC-Bayesian theorems. Mach. Learn. 37 (1999) 355-363. | MR | Zbl

[14] D. A. Mcallester. PAC-Bayesian stochastic model selection. Mach. Learn. 51 (2003) 5-21. | Zbl

[15] C. J. Stone. Adaptive maximum likelihood estimators of a location parameter. Ann. Statist. 3 (1975) 267-284. | MR | Zbl

Cité par Sources :