Explaining Predictive Model Performance: An Experimental Study of Data Preparation and Model Choice

Dolatsara, Hamidreza Ahady; Chen, Ying‐Ju; Leonard, Robert D.; Megahed, Fadel M.; Jones‐Farmer, L. Allison

doi:10.1089/big.2021.0067

Cited by 4 publications

(1 citation statement)

References 56 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…The factorial design approach is in contrast to the focus on Monte Carlo error associated with a single table entry (e.g., Morris, White & Crowther, 2019). Dolatsara et al (2021) advocate for the use of experimental design to systematically study the effect of data preparation and model choice in supervised learning applications.…”

Section: Introductionmentioning

confidence: 99%

Let's practice what we preach: Planning and interpreting simulation studies with design and analysis of experiments

Chipman

Bingham

2022

Can J Statistics

View full text Add to dashboard Cite

Statisticians recommend design and analysis of experiments (DAE) for evidence-based research but often use tables to present their own simulation studies. Could DAE do better? We outline how DAE methods can be used to plan and analyze simulation studies. Tools for planning include cause-and-effect diagrams and factorial and fractional factorial designs. Analysis is carried out via analysis of variance, main effect and interaction plots, and other DAE tools. We also demonstrate how Taguchi robust parameter design can be used to study the robustness of methods to a variety of uncontrollable population parameters.Résumé: Les statisticiens prônent le recours aux plans et analyse d'expériences (DAE) en recherche factuelle, mais le plus souvent, ils se contentent de tableaux pour présenter leurs propres études de simulation. Les auteurs de ce travail examinent l'apport et l'amélioration que pourrait apporter l'adoption de l'approche (DAE). Pour y répondre, ils présentent une description de la façon dont les méthodes DAE peuvent être employées pour planifier et analyser les études de simulation. Les outils de planification proposés comprennent les diagrammes de cause à effet et les plans factoriels et fractionnaires. L'analyse préconisée repose sur l'ANOVA, les graphiques d'effets principaux et d'interactions et d'autres outils DAE. Les auteurs montrent également comment les plans robustes de Taguchi peuvent être utilisés pour étudier la robustesse des méthodes à divers paramètres de population non contrôlables.

show abstract

Section: Introductionmentioning

confidence: 99%