Estimation récursive en régression inverse par tranches (sliced inverse regression)

Nguyen, Thi Mong Ngoc; Saracco, Jérôme

Journal de la société française de statistique, Tome 151 (2010) no. 2, pp. 19-46.

L’intérêt des méthodes récursives est de prendre en compte l’arrivée temporelle des informations et d’affiner ainsi au fil du temps les estimations. L’idée est d’utiliser les estimations calculées sur la base de données initiales et de les remettre à jour en tenant uniquement compte des nouvelles données arrivant dans la base. Le gain en terme de temps de calcul peut être très intéressant et les applications d’une telle approche sont nombreuses. Dans cet article, nous nous intéressons à la méthode SIR (sliced inverse regression, que l’on peut traduire par régression inverse par tranches) qui permet d’estimer le paramètre $\theta$ dans un modèle semi-paramétrique de régression du type $y=f(x^{\prime }\theta ,\epsilon )$ sans avoir à estimer le paramètre fonctionnel $f$ ni à spécifier la loi de l’erreur $\epsilon$. Dans le cas particulier où l’on considère $H=2$ tranches, il est possible d’obtenir une expression analytique de l’estimateur de la direction de $\theta$. Nous proposons dans cet article une forme récursive pour cet estimateur. Nous donnons des propriétés asymptotiques de cet estimateur (convergence presque sûre et normalité asymptotique). Nous illustrons aussi sur des simulations le bon comportement numérique de l’approche récursive proposée. Un avantage majeur de l’utilisation de la forme récursive est que les temps de calculs des estimateurs sont beaucoup plus courts que ceux obtenus avec la forme non récursive, en particulier lorsque la dimension de $x$ est grande.

In this paper, we study a recursive estimation procedure for sliced inverse regression. When the number $H$ of slices is equal to two, we obtain an analytic expression of the estimator of the direction of the parameter $\theta$ in the semiparametric regression model $y=f(x^{\prime }\theta ,\epsilon )$, which does not require the estimation of the link function $f$. We propose a recursive estimation procedure for this estimator. We establish some asymptotic properties of the estimator. A simulation study illustrates the good numerical behavior of the estimator. The recursive approach has the advantage to be computationaly faster than the non recursive one.

[1] Chen, C .H. et Li, K. C. (1998). Can SIR be as popular as multiple linear regression ? Statistica Sinica, 8, 289-316. | MR | Zbl

[2] Cook, R. D. et Nachtsheim, C. J. (1994). Re-weighting to achieve elliptically contoured covariates in regression. Journal of the American Statistical Association, 89, 592-599. | Zbl

[3] Duan, N. and Li, K. C. (1991). Slicing regression : a link-free regression method. The Annals of Statistics, 19, 505-530. | MR | Zbl

[4] Duflo, M. (1990). Méthodes récursives aléatoires. Techniques Stochastiques, Masson, Paris. | MR | Zbl

[5] Duflo, M. (1997). Random Iterative Models, Springer-Verlag, Berlin. | MR

[6] Hall, P. et Li, K. C. (1993). On almost linearity of low dimensional projections from high dimensional data. The Annals of Statistics, 21, 867-889. | MR | Zbl

[7] Li, K. C. (1991). Sliced inverse regression for dimension reduction, with dicussion. Journal of the American Statistical Association, 86, 316-342. | MR | Zbl

[8] Magnus, J. R. and Neudecker, H. (1979). The commutation matrix : some properties and applications. Annals of Statistics, 7(2), 381-394. | MR | Zbl

[9] Magnus, J. R. and Neudecker, H. (1988). Matrix differential calculus with applications in statistics and econometrics. Wiley Series in Probability and Mathematical Statistics : Applied Probability and Statistics. John Wiley & Sons, Ltd., Chichester. | MR | Zbl

[10] Saracco, J. (1997). An asymptotic theory for Sliced Inverse Regression. Communications in Statistics - Theory and methods, 26, 2141-2171. | MR | Zbl

[11] Stout, W.F. (1974). Almost sure convergence A Series of Monographs and Textbooks in Probability and Mathematical Statistics. | Zbl