L'exploration statistique du biais de publication
Journal de la société française de statistique, Tome 148 (2007) no. 4, p. 29-56
Cet article présente les principales techniques statistiques permettant d'identifier et de corriger le biais de publication. Un biais de publication apparaît lorsque la publication d'une recherche dépend de la significativité et/ou de la direction des résultats obtenus par le chercheur. Plusieurs études ont ainsi montré que certaines revues académiques avaient tendance à un certain degré de publication sélective en ne retenant à la publication qu'un certain type d'études, notamment celles qui présentent des résultats statistiquement significatifs. Dès lors, une synthèse de la littérature qui s'appuierait uniquement sur les études publiées pourrait s'avérer biaisée en faveur d'études présentant des effets empiriques plus larges qu'ils ne sont réellement. Avec la méta-analyse, des techniques statistiques - comme le test d'asymétrie des entonnoirs et le test de méta-significativité - permettent d'identifier et de corriger ce type de biais.
The purpose of this paper is to survey and illustrate selected statistical methods that can identify and correct publication bias. Publication bias has long been a major concern to researchers. In its more benign form, it is the result of selection for statistical significance. Researchers, reviewers and editors are predisposed to treat “statistically significant” results more favorably. Hence, there are more likely to be published. Such publication bias makes empirical effects seem larger than they are. With meta-analysis, statistical methods - such as funnel asymmetry and meta-significance tests - can be employed to identify and accommodate these biases.
Mots clés: biais de publication, test d'asymétrie des entonnoirs, test de méta-significativité, méta-analyse de régression
@article{JSFS_2007__148_4_29_0,
     author = {Laroche, Patrice},
     title = {L'exploration statistique du biais de publication},
     journal = {Journal de la soci\'et\'e fran\c caise de statistique},
     publisher = {Soci\'et\'e fran\c caise de statistique},
     volume = {148},
     number = {4},
     year = {2007},
     pages = {29-56},
     language = {fr},
     url = {http://www.numdam.org/item/JSFS_2007__148_4_29_0}
}
Laroche, Patrice. L'exploration statistique du biais de publication. Journal de la société française de statistique, Tome 148 (2007) no. 4, pp. 29-56. http://www.numdam.org/item/JSFS_2007__148_4_29_0/

[1] Abramovitz M. et al. (1992). « A plea for pluralistic and rigorous economics », American Economic Review, 82, 25.

[2] Ashenfelter O., Harmon C. et H. Oosterbeek. (1999). « A review of estimates of the schooling/earnings relationship, with tests for publication bias », Labour Economics, 6, 453-470.

[3] Bauchau V. (1997), « Is there a file drawer problem" in biological research ? »", Oikos, 79, 407-409.

[4] Begg C.B. (1994). « Publication bias », in The Handbook of Research Synthesis, Russel Sage Foundation.

[5] Begg C. B. et J. A. Berlin (1988), « Publication Bias : a problem in interpreting medical data », Journal of Royal Statistical Society, Series A, 151(3), 419-463.

[6] Begg C.B. et Mazumdar M. (1994). « Operating characteristics of a rank correlation test for publication bias », Biometrics, 50, 1088-1101. | Zbl 0825.62457

[7] Becker B.J. et Morton S.C. (2002). « Publication bias : Methods and practices in evidence-based medicine and social science », Mathematical Sciences Research Institute, Berkeley, California.

[8] Berlin J.A., Begg C.B. et Louis T.A. (1989). « An assessment of publication bias using a sample of published clinical trials », Journal of the American Statistical Association, 84, 381-392.

[9] Card D. et Krueger A.B. (1995). « Time-Series Minimum-Wage Studies : A Meta-Analysis », American Economic Review, 85(2) :238-43.

[10] Cohen J. (1969). « Statistical power analysis for the behavioral sciences » | Zbl 0747.62110

[11] Cooper H.M. (1998). « Synthesizing research : a guide for literature reviews », Thousand Oaks, CA : Sage.

[12] Coursol A. et Wagner E.E. (1986). « Effect of positive findings on submission and acceptance rates : a note on meta-analysis bias », Professional Psychological Research & Practice, 17, 447-452.

[13] Cucherat M. (1997). « Méta-analyse des essais thérapeutiques », Paris, Masson.

[14] Dalhuisen J., Florax R.J.G.M., Degroot H.L.F. et Nijkamp P. (2003). « Price and income elasticities of residential water demand : a meta-analysis », Land Economics, 79, 292-308.

[15] Davidson R. et Mackinnon J.G. (2004). « Econometric theory and methods », Oxford : Oxford University Press. | MR 1704228

[16] Dear K.B.G. et Begg C.B. (1992). « An approach for assessing for publication bias prior to performing a meta-analysis » 237-245.

[17] Dickersin K., Chan S., Chalmers T.C. Sacks H.S. et Smith H. Jr. (1987). « Publication bias and clinical trials », Controlled Clinical Trials, 8, 343-353.

[18] Dickersin K., Min Y.I., et Meinert C.L. (1992). « Factors influencing publication of research results. Follow-up of applications submitted to two institutional review boards », Journal of the American Medical Association, 267, 374-378.

[19] Doucouliagos C. et Laroche P. (2003). « What do Unions do to Productivity : A Meta-Analysis », Industrial Relations, 42(4), 650-692.

[20] Doucouliagos C., Laroche P. et Stanley T.D. (2005). « Publication Bias in Union-Productivity Research » 320-347.

[21] Duval S.J. et Tweedie R.L. (2000). « A non-parametric 'trim and fill' method of accounting for publication bias in meta-analysis », Journal of the American Statistical Association, 95, 89-98. | MR 1803144 | Zbl 1011.62112

[22] Egger M., Smith G.D., Scheider M., et Minder C. (1997). « Bias in meta-analysis detected by a simple, graphical test », British Medical Journal, 316, 629-34.

[23] Egger M., Juni P., Bartlett, C. Holenstein F. et Sterne J. (2003). « How important are comprehensive literature searches and the assessment of trial quality in systematic reviews ? Empirical study », Health Technology Assessment, 7, 1-68.

[24] Galbraith J.K. (1988). « A note on graphical presentation of estimated odds ratios from several clinical trials », Statistics in Medicine, 7, 177-207.

[25] Gerber A.S., Green D.P. et Nickerson D. (2001). « Testing for Publication Bias in Political Science », Political Analysis, 9, 385-392.

[26] Gilbody S.M., Song F., Eastwood A.J. et Sutton A. (2000). « The causes, consequences and detection of publication bias in psychiatry », Acta Psychiatrica Scandinavia, 102, 241-249.

[27] Givens G.H., Smith D.D. et Tweedie R.L. (1997). « Publication bias in Meta-analysis : A bayesian data-augmentation approach to account for issues exemplified in the passive smoking debate », Statistical Science, 12, 221-250.

[28] Glass G.V., Mcgaw B. et Smith Ml. (1981). « Meta-analysis in social research », Beverly Hills, CA : Sage Publication.

[29] Goldfarb R.S. (1995). « The Economist-as-audience needs a methodology of plausible inference », Journal of Economic Methodology, 2(2), 201-22.

[30] Gorg H. et E. Strobl (2001). « Multinational Companies and Productivity : A Meta-analysis », The Economic Journal, 111(475) :723-39.

[31] Green B. et Hall J. (1984). « Quantitative methods for literature review », Annual Review of Psychology, 35, 37-53.

[32] Greene W.H. (1990). « Econometric Analysis ». New York : MacMillan.

[33] Gujarati D.N. (2003). « Basic Econometrics »

[34] Hedges L.V. (1992). « Modeling publication selection effects in meta-analysis », Statistical Science, 7, 227-236.

[35] Hedges L.V. et Olkin I. (1985). « Statistical methods for meta-analysis », Boston : Academic Press. | MR 798597 | Zbl 0666.62002

[36] Hedges L.V. et Vevea J.L. (1996). « Estimating effect size under publication bias : small sample properties and robustness of a random effects selection models », Journal of Educational and Behavioral Statistics, 21, 299-332.

[37] Hunter J.E. et Schmidt F.L. (1990). « Methods of Meta-Analysis : correcting error and bias in research findings », Sage publications.

[38] Ioannidis J.P.A. et Trikalinos T.A., (2007). « The appropriateness of asymmetry tests for publication bias in meta-analyses : a large survey », Canadian Medical Association Journal, April, 1091-1096.

[39] Jarrell S. et T.D. Stanley (1990). « A Meta-Analysis of the Union-Nonunion Wage Gap », Industrial and Labor Relations Review, 44, 54-67.

[40] Laroche P. et Schmidt G. (2004). « La méta-analyse en sciences de gestion : utilités, utilisations et débats », Academy of Management, Division « Méthodes de Recherche », Crossing Frontiers in Quantitative and Qualitative Research Methods, ISEOR, Lyon, 18-20 Mars.

[41] Latour B. 2001. « Le métier de chercheur, regard d'un anthropologue », Paris, INRA Editions.

[42] Light R.J. et Pillemer D.B. (1984). « Summing up : The science of reviewing research », Cambridge, MA : Harvard University Press.

[43] Macaskill P., Walter S.D., et Irwig L. (2001). « A comparison of methods to detect publication bias in meta-analysis », Statistics in Medicine, 20, 641-654.

[44] Mahoney M.J. (1977). « Publication prejudices : An experimental study of confirmatory bias in the peer review system », Cognitive Therapy & Research, 1, 161-175.

[45] Muller J.L. (1988). « Pour une revue quantitative de la littérature : les méta-analyses », Psychologie Française, 33-4, décembre, 295-303.

[46] Neumark D. et W. Wascher (2002). « Meta-Analysis », Journal of Economic Perspectives, 16(3), 226-7.

[47] Orwin R.G. (1983). « A fail-Safe N for effect size in meta-analysis », Journal of Educational Statistics, 8, 157-159.

[48] Roberts C.J. et Stanley T.D. (Eds.), « Meta-regression analysis : Issues of publications bias in economics », Blackwell Publishing.

[49] Rosenberg M.S. (2005). « The File-drawer problem revisited : a general weighted method for calculating fail-safe numbers in meta-analysis », Evolution, 59 (2), 464-468.

[50] Rosenberg M.S., D.C. Adams et J. Gurevitch. (2000). « MetaWin : Statistical Software for Meta-Analysis », Version 2.0. Sinauer Associates, Sunderland, Massachusetts.

[51] Rosenthal R. (1979), « The « file drawer problem » and tolerance for null results », Psychological Bulletin, 86 :638-41.

[52] Rosenthal R. (1991). « Meta-analytic procedures for social research », (ré-édition de l'ouvrage publié initialement en 1984), Newbury Park, CA : Sage.

[53] Rothstein H.R., Sutton A.J. et Borenstein M. (2005). « Publication bias in meta-analysis : prevention, assessment and adjustment », John Wiley & Sons. | MR 2238828 | Zbl pre05069012

[54] Rust R.T., D.R. Lehmann et J.U. Farley (1990). « Estimating Publication Bias in Meta-Analysis », Journal of Marketing Research, 27, 220-226.

[55] Scargle J.D. (2000). « Publication Bias : the « file-drawer » problem in scientific inference », Journal of Scientific Exploration, 14, 91-106.

[56] Schulz K.F., Chalmers I., Hayes R.J., et Altman D.G. (1995). « Empirical evidence of bias : Dimensions of methodological quality associated with estimates of treatment effects in controlled trials », Journal of the American Medical Association, 273, 408-412.

[57] Shepherd G.B. (Ed.) (1995). « Rejected : Leading economists ponder the publication process », Sun Lakes : Thomas Horton and Daughters.

[58] Sigelman L. (1999). « Publication Bias Reconsidered », Political Analysis, 8, 201-210.

[59] Smart R.G. (1964). « The importance of negative results in psychological research », Canadian Psychologist, 5, 225-232. | MR 160290

[60] Sommer B. (1987). « The file drawer effect and publication rates in menstrual cycle research », Psychology of Women Quaterly, 11, 233-242.

[61] Stanley T.D. (2001). « Wheat from chaff : Meta-Analysis as quantitative literature review », The Journal of Economic Perspectives 15(3), 131-150.

[62] Stanley T.D. (2005). « Beyond Publication bias », Journal of Economic Survey, 19, 309-337.

[63] Stanley T.D. et Jarrell S.B. (1989). « A meta-regression analysis : A quantitative method of literature surveys », Journal of Economic Surveys, 3, 54-67.

[64] Stanley T.D. et Roberts C.J. (2005). « Meta-regression analysis : Issues of publication bias in economics », Oxford : Blackwell Publishing Ltd.

[65] Stanley T.D, Florax R.J.G.M., et Degroot H.L.F. (2003). « It's all about power : Differentiating genuine empirical significance from the artifact of publication bias », Discussion Paper 3, Center for Entrepreneurial Studies, Hendrix College.

[66] Sterling T.D. (1959). « Publication decisions and their possible effects on inferences drawn from tests of significance - or vice versa », Journal of the American Statistical Association, 54, 30-34.

[67] Sterling T.D. Rosenbaum W.L., et Weinkam J.J. (1995). « Publication decisions revisited : The effect of the outcome of statistical tests on the decision to publish », American Statistician, 49, 108-112.

[68] Sterne J.A.C., Gavaghan D. et Egger M. (2000). « Publication and related bias in meta-analysis : Power of statistical tests and prevalence in the literature », Journal of Clinical Epidemiology, 53, 1119-1129.

[69] Stouffer S.A., Suchman E.A., Devinney L.C., Star A. et Williams R.M. (1949). « The American soldier : adjustment during army life », vol.1, Princeton, NJ : Princeton University Press.

[70] Sutton A.J., Duval S.J., Tweedie R.L., Abrams K.R. et Jones D.R. (2000a). « Empirical assessment of effect of publication bias on meta-analyses », British Medical Journal, 320, 1574-1577.

[71] Sutton A.J., F. Song, S. M. Gilbody et K. R. Abrams (2000b). « Modelling Publication Bias in Meta-Analysis : a review », Statistical Methods in Medical Research, 9, 421-45. | Zbl 1121.62668

[72] Sutton A.J., Abrams K.R., Jones D.R., Sheldon T.A., et Song F. (2000c). « Methods for Meta-analysis in Medical Research », Chichester : John Wiley and Sons.

[73] Thompson S.G. et Pocock S.J. (1991). « Can meta-analyses be trusted ? », Lancet, 338, 1127-1130.