Revue sur l’analyse de sensibilité globale de modèles numériques

Iooss, Bertrand

Journal de la société française de statistique, Tome 152 (2011) no. 1, pp. 3-25.

Cet article a pour objectif d’effectuer un survol rapide, mais dans un cadre méthodologique relativement complet, des différentes méthodes d’analyse de sensibilité globale d’un modèle numérique. Faisant appel à de nombreux outils statistiques (régression, lissage, tests, apprentissage, techniques de Monte Carlo, ...), celles-ci permettent de déterminer quelles sont les variables d’entrée d’un modèle qui contribuent le plus à une quantité d’intérêt calculée à l’aide de ce modèle (par exemple la variance d’une variable de sortie). Trois grandes classes de méthodes sont ainsi distinguées : le criblage (tri grossier des entrées les plus influentes parmi un grand nombre), les mesures d’importance (indices quantitatifs donnant l’influence de chaque entrée) et les outils d’exploration du modèle (mesurant les effets des entrées sur tout leur domaine de variation). Une méthodologie progressive d’application de ces techniques est illustrée sur une application à vocation pédagogique. Une synthèse est alors formulée afin de situer chaque méthode selon trois axes : coût en nombre d’évaluations du modèle, complexité du modèle et type d’information apportée.

This papers makes a brief review, in a relatively complete methodological framework, of various global sensitivity analysis methods of model output. Numerous statistical and probabilistic tools (regression, smoothing, tests, statistical learning, Monte Carlo, ...) aim at determining the model input variables which mostly contribute to an interest quantity depending of model output (as the variance of an output variable). Three kinds of methods are distinguished: the screening (coarse sorting of the most influential inputs among a large number), the measures of importance (quantitative sensitivity indices) and the deep exploration of the model behaviour (measuring the effects of inputs on their all variation range). A progressive application methodology is illustrated on a scholar application. A synthesis is given to place every method according to three axes: cost in number of model evaluations, model complexity and nature of brought information.

[1] A. Arnaud, E. de Rocquigny et D. Lagrange : Projet « Incertitudes » - Lot « Référentiel méthodologique » - Panorama pédagogique global des méthodes de maîtrise des incertitudes à travers un cas d’école. Rapport EDF R&D H-T56-2007-01082-FR, 2007.

[2] A. Badea et R. Bolado : Review of sensitivity analysis methods and experience. PAMINA 6^th FPEC Project, European Commission, 2008. http://www.ip-pamina.eu/downloads/pamina.m2.1.d.4.pdf.

[3] B. Bettonvil et J.P.C. Kleijnen : Searching for important factors in simulation models with many factors : Sequential bifurcation. European Journal of Operational Research, 96 :180–194, 1996. | Zbl

[4] G.E. Box et N.R. Draper : Empirical model building and response surfaces. Wiley Series in Probability and Mathematical Statistics. Wiley, 1987. | MR | Zbl

[5] D.G. Cacuci : Sensitivity theory for nonlinear systems. I. Nonlinear functional analysis approach. Journal of Mathematical Physics, 22 :2794, 1981. | MR

[6] K. Campbell, M.D. McKay et B.J. Williams : Sensitivity analysis when model ouputs are functions. Reliability Engineering and System Safety, 91 :1468–1472, 2006.

[7] W. Castaings : Analyse de sensibilité et estimation de paramètres pour la modélisation hydrologique : potentiel et limitations des méthodes variationnelles. Thèse de l’Université Joseph Fourier, Grenoble 1, 2007.

[8] M. Claeys-Bruno, M. Dobrijevic, R. Cela, R. Phan-Tan-Luu et M. Sergent : Supersaturated design : construction, comparison and interpretation. In VI Colloquium Chemiometricum Mediterraneum, Saint Maximin La Sainte Baume, France, september 2007.

[9] H. Cukier, R.I. Levine et K. Shuler : Nonlinear sensitivity analysis of multiparameter model systems. Journal of Computational Physics, 26 :1–42, 1978. | MR | Zbl

[10] S. Da Veiga, F. Wahl et F. Gamboa : Local polynomial estimation for sensitivity analysis on models with correlated inputs. Technometrics, 51(4) :452–463, 2009. | MR

[11] E. de Rocquigny : La maîtrise des incertitudes dans un contexte industriel - 1ère partie  : une approche méthodologique globale basée sur des exemples. Journal de la Société Française de Statistique, 147(3) :33–71, 2006. | Numdam | MR

[12] E. de Rocquigny, N. Devictor et S. Tarantola, éditeurs. Uncertainty in industrial practice. Wiley, 2008. | Zbl

[13] A. Dean et S. Lewis, éditeurs. Screening - Methods for experimentation in industry, drug discovery and genetics. Springer, 2006. | Zbl

[14] D.J. Downing, R.H. Gardner et F.O. Hoffman : An examination of response surface methodologies for uncertainty analysis in assessment models. Technometrics, 27(2) :151–163, 1985.

[15] J-J. Droesbecke, J. Fine et G. Saporta, éditeurs. Plans d’expériences (Applications à l’entreprise). Technip, Paris, 1998. | MR | Zbl

[16] K-T. Fang, R. Li et A. Sudjianto : Design and modeling for computer experiments. Chapman & Hall/CRC, 2006. | MR | Zbl

[17] J. Franco : Planification d’expériences numériques en phase exploratoire pour la simulation des phénomènes complexes. Thèse de l’Ecole Nationale Supérieure des Mines de Saint-Etienne, 2008.

[18] H.C. Frey et S.R. Patil : Identification and review of sensitivity analysis methods. Risk Analysis, 22 :553–578, 2002.

[19] T. Hastie et R. Tibshirani : Generalized additive models. Chapman and Hall, London, 1990. | MR | Zbl

[20] T. Hastie, R. Tibshirani et J. Friedman : The elements of statistical learning. Springer, 2002. | MR | Zbl

[21] J.C. Helton : Uncertainty and sensitivity analysis techniques for use in performance assesment for radioactive waste disposal. Reliability Engineering and System Safety, 42 :327–367, 1993.

[22] J.C. Helton, J.D. Johnson, C.J. Salaberry et C.B. Storlie : Survey of sampling-based methods for uncertainty and sensitivity analysis. Reliability Engineering and System Safety, 91 :1175–1209, 2006.

[23] W. Hoeffding : A class of statistics with asymptotically normal distributions. Annals of Mathematical Statistics, 19 :293–325, 1948. | MR | Zbl

[24] T. Homma et A. Saltelli : Importance measures in global sensitivity analysis of non linear models. Reliability Engineering and System Safety, 52 :1–17, 1996.

[25] B. Iooss, L. Boussouf, V. Feuillard et A. Marrel : Numerical studies of the metamodel fitting and validation processes. International Journal of Advances in Systems and Measurements, 3 :11–21, 2010.

[26] B. Iooss et M. Ribatet : Global sensitivity analysis of computer models with functional inputs. Reliability Engineering and System Safety, 94 :1194–1204, 2009.

[27] B. Iooss, F. Van Dorpe et N. Devictor : Response surfaces and sensitivity analyses for an environmental model of dose calculations. Reliability Engineering and System Safety, 91 :1241–1251, 2006.

[28] J. Jacques : Contributions à l’analyse de sensibilité et à l’analyse discriminante généralisée. Thèse de l’Université Joseph Fourier, Grenoble 1, 2005.

[29] J. Jacques, C. Lavergne et N. Devictor : Sensitivity analysis in presence of model uncertainty and correlated inputs. Reliability Engineering and System Safety, 91 :1126–1134, 2006.

[30] J.P.C. Kleijnen : Sensitivity analysis and related analyses : a review of some statistical techniques. Journal of Statistical Computation and Simulation, 57 :111–142, 1997. | Zbl

[31] J.P.C. Kleijnen : Design and analysis of simulation experiments. Springer, 2008. | MR | Zbl

[32] J.P.C. Kleijnen et J.C. Helton : Statistical analyses of scatterplots to identify important factors in large-scale simulations, 1 : Review and comparison of techniques. Reliability Engineering and System Safety, 65 :147–185, 1999.

[33] J.P.C. Kleijnen et R.G. Sargent : A methodology for fitting and validating metamodels in simulation. European Journal of Operational Research, 120 :14–29, 2000. | Zbl

[34] D. Kurowicka et R. Cooke : Uncertainty analysis with high dimensional dependence modelling. Wiley, 2006. | MR | Zbl

[35] M. Lamboni, H. Monod et D. Makowski : Multivariate sensitivity analysis to measure global contribution of input factors in dynamic models. Reliability Engineering and System Safety, submitted, 2010.

[36] L. Lilburne et S. Tarantola : Sensitivity analysis of spatial models. International Journal of Geographical Information Science, 23 :151–168, 2009.

[37] D.K.J. Lin : A new class of supersaturated design. Technometrics, 35 :28–31, 1993.

[38] A. Marrel : Mise en oeuvre et exploitation du métamodèle processus gaussien pour l’analyse de modèles numériques - Application à un code de transport hydrogéologique. Thèse de l’INSA Toulouse, 2008.

[39] A. Marrel, B. Iooss, M. Jullien, B. Laurent et E. Volkova : Global sensitivity analysis for models with spatially dependent outputs. Environmetrics, to appear, DOI : 10.1002/env.1071, 2010. | MR

[40] A. Marrel, B. Iooss, B. Laurent et O. Roustant : Calculations of the Sobol indices for the Gaussian process metamodel. Reliability Engineering and System Safety, 94 :742–751, 2009.

[41] D.C. Montgomery : Design and analysis of experiments. John Wiley & Sons, 6th édition, 2004. | MR | Zbl

[42] M. Morris : Factorial sampling plans for preliminary computational experiments. Technometrics, 33 :161–174, 1991.

[43] J.E. Oakley et A. O’Hagan : Probabilistic sensitivity analysis of complex models : A Bayesian approach. Journal of the Royal Statistical Society, Series B, 66 :751–769, 2004. | MR | Zbl

[44] F. Pappenberger, M. Ratto et V. Vandenberghe : Review of sensitivity analysis methods. In P.A. Vanrolleghem, éditeur : Modelling aspects of water framework directive implementation, pages 191–265. IWA Publishing, 2010.

[45] G. Pujol : Simplex-based screening designs for estimating metamodels. Reliability Engineering and System Safety, 94 :1156–1160, 2009.

[46] O. Roustant, D. Ginsbourger et Y. Deville : DiceKriging, DiceOptim : Two R packages for the analysis of computer experiments by kriging-based metamodeling and optimization. Journal of Statistical Software, submitted.

[47] J. Sacks, W.J. Welch, T.J. Mitchell et H.P. Wynn : Design and analysis of computer experiments. Statistical Science, 4 :409–435, 1989. | MR | Zbl

[48] A. Saltelli : Making best use of model evaluations to compute sensitivity indices. Computer Physics Communication, 145 :280–297, 2002. | Zbl

[49] A. Saltelli et P. Annoni : How to avoid a perfunctory sensitivity analysis. Environmental Modelling and Software, 25 :1508–1517, 2010.

[50] A. Saltelli, P. Annoni, I. Azzini, F. Campolongo, M. Ratto et S. Tarantola : Variance based sensitivity analysis of model output. Design and estimator for the total sensitivity index. Computer Physics Communication, 181 :259–270, 2010. | MR | Zbl

[51] A. Saltelli, K. Chan et E.M. Scott, éditeurs. Sensitivity analysis. Wiley Series in Probability and Statistics. Wiley, 2000. | Zbl

[52] A. Saltelli, M. Ratto, T. Andres, F. Campolongo, J. Cariboni, D. Gatelli, M. Salsana et S. Tarantola : Global sensitivity analysis - The primer. Wiley, 2008. | MR | Zbl

[53] A. Saltelli et S. Tarantola : On the relative importance of input factors in mathematical models : Safety assessment for nuclear waste disposal. Journal of American Statistical Association, 97 :702–709, 2002. | MR | Zbl

[54] A. Saltelli, S. Tarantola, F. Campolongo et M. Ratto : Sensitivity analysis in practice : A guide to assessing scientific models. Wiley, 2004. | MR | Zbl

[55] A. Saltelli, S. Tarantola et K. Chan : A quantitative, model-independent method for global sensitivity analysis of model output. Technometrics, 41 :39–56, 1999.

[56] T. Santner, B. Williams et W. Notz : The design and analysis of computer experiments. Springer, 2003. | MR | Zbl

[57] G. Saporta : Probabilités, analyse de données et statistique. éditions Technip, 2ème édition, 2006. | MR | Zbl

[58] F. Satterthwaite : Random balance experimentation. Technometrics, 1 :111–137, 1959. | MR

[59] M. Schonlau et W.J. Welch : Screening the input variables to a computer model. In A. Dean et S. Lewis, éditeurs : Screening - Methods for experimentation in industry, drug discovery and genetics. Springer, 2006.

[60] M. Sergent, B. Corre et D. Dupuy : Comparison of different screening methods. In VI Colloquium Chemiometricum Mediterraneum, Saint Maximin La Sainte Baume, France, september 2007.

[61] T.W. Simpson, D.K.J. Lin et W. Chen : Sampling strategies for computer experiments : Design and analysis. International Journal of Reliability and Applications, 2 :209–240, 2001.

[62] T.W. Simpson, J.D. Peplinski, P.N. Kock et J.K. Allen : Metamodel for computer-based engineering designs : Survey and recommandations. Engineering with Computers, 17 :129–150, 2001. | Zbl

[63] I.M. Sobol : Sensitivity estimates for non linear mathematical models. Mathematical Modelling and Computational Experiments, 1 :407–414, 1993. | MR | Zbl

[64] I.M. Sobol : Theorems and examples on high dimensional model representation. Reliability Engineering and System Safety, 79 :187–193, 2003.

[65] I.M. Sobol et S. Kucherenko : Derivative based global sensitivity measures and their links with global sensitivity indices. Mathematics and Computers in Simulation, 79 :3009–3017, 2009. | MR | Zbl

[66] C.B. Storlie et J.C. Helton : Multiple predictor smoothing methods for sensitivity analysis : Description of techniques. Reliability Engineering and System Safety, 93 :28–54, 2008.

[67] C.B. Storlie, L.P. Swiler, J.C. Helton et C.J. Salaberry : Implementation and evaluation of nonparametric regression procedures for sensitivity analysis of computationally demanding models. Reliability Engineering and System Safety, 94 :1735–1763, 2009.

[68] B. Sudret : Global sensitivity analysis using polynomial chaos expansion. Reliability Engineering and System Safety, 93 :964–979, 2008.

[69] S. Tarantola, D. Gatelli et T. Mara : Random balance designs for the estimation of first order global sensitivity indices. Reliability Engineering and System Safety, 91 :717–727, 2006.

[70] J-Y. Tissot et C. Prieur : A bias correction method for the estimation of sensitivity indices based on random balance designs. Reliability Engineering and System Safety, submitted, 2010, Available at URL : http ://hal.archives-ouvertes.fr/hal-00507526/fr/.

[71] E. Volkova, B. Iooss et F. Van Dorpe : Global sensitivity analysis for a numerical model of radionuclide migration from the RRC "Kurchatov Institute" radwaste disposal site. Stochastic Environmental Research and Risk Assesment, 22 :17–31, 2008. | MR | Zbl

[72] C. Xu et G. Gertner : Extending a global sensitivity analysis technique to models with correlated parameters. Computational Statistics and Data Analysis, 51 :5579–5590, 2007. | MR