The confidence/significance level implies a certain cost ratio between type I error and type II error: For a stronger focus on decision theory in psychological assessment - Das Konfidenz-/Signifikanzniveau impliziert ein bestimmtes Kostenverhältnis zwischen Fehler 1. Art und Fehler 2. Art: Für ein stärkeres Einbeziehen der Entscheidungstheorie in die psychologische Einzelfalldiagnostik

Abstract

__Abstract__: Psychological assessment often requires concrete decisions, e.g. whether a person is “below the norm” in some psychological domain. It is still common that practitioners directly compare the test score with some theoretical norm value (e.g., one standard deviation below the mean). In a literature review, we show that all German textbooks on Psychological Assessment recommend taking measurement uncertainty of psychological tests into account, for example by using critical differences, hypothesis tests, or confidence intervals. However, these recommendations resemble heuristics without a comprehensible rationale on how to choose necessary parameters (e.g., the appropriate significance or confidence level). Statistical decision theory is a mathematical framework for making rational decisions. Although once en vogue in psychology (cf. Cronbach & Gleser, 1965), it receives little attention today. When viewed from a decision theoretic perspective, one can show the implicit assumptions of current decision heuristics. For example, using two-sided hypothesis tests and confidence intervals with significance level alpha = 0.05 implies that type I errors are 39 times as costly as type II errors. In this paper, we give a short introduction to decision theory and use this framework to discuss the implication of current assessment practices. We also present a small survey of clinical neuropsychologists, who reported different representations of their internal cost ratio for a fictitious assessment scenario. Although the practitioners’ cost ratios varied, the majority chose less extreme ratios than the common heuristics would imply. We argue that psychological assessment would benefit from explicitly considering decision theoretic implications in practice and outline possible future directions. // __Zusammenfassung__: Die psychologische Einzelfalldiagnostik erfordert oft konkrete Entscheidungen, z. B. ob eine Person in einem psychologischen Bereich „unterdurchschnittlich" ist. In der Praxis kommt es immer noch vor, dass das Testergebnis direkt mit einem theoretischen Normwert (z. B. eine Standardabweichung unterhalb des Mittelwerts) verglichen wird. In einem Literaturreview zeigen wir, dass alle deutschen Lehrbücher zur psychologischen Diagnostik empfehlen, die Messunsicherheit von psychologischen Tests zu berücksichtigen, z. B. durch die Verwendung von kritischen Differenzen, Hypothesentests oder Konfidenzintervallen. Diese Empfehlungen ähneln jedoch Heuristiken ohne eine nachvollziehbare Begründung, wie die notwendigen Parameter (z. B. das geeignete Signifikanz- oder Konfidenzniveau) zu wählen sind. Die statistische Entscheidungstheorie ist ein mathematisches Framework, um rationale Entscheidungen zu treffen. Obwohl sie bereits früh in der Psychologie behandelt wurde (vgl. Cronbach & Gleser, 1965), findet sie heute wenig Beachtung. Aus einer entscheidungstheoretischen Perspektive betrachtet, lassen sich die impliziten Annahmen aktueller Entscheidungsheuristiken aufzeigen. Die Verwendung zweiseitiger Hypothesentests und Konfidenzintervalle mit einem Signifikanzniveau von alpha = 0.05 impliziert beispielsweise, dass Fehler 1. Art 39-mal schwerwiegender eingestuft werden als Fehler 2. Art. In diesem Artikel geben wir eine kurze Einführung in die Entscheidungstheorie und nutzen dieses Framework, um die Auswirkungen auf die derzeitige Praxis zu erörtern. Außerdem stellen wir eine Umfrage unter klinischen Neuropsycholog:innen vor, die für ein fiktives Fallbeispiel ihre internen Kostenverhältnisse auf verschiedene Art und Weise angaben. Obwohl die Kostenverhältnisse der Praktiker:innen variierten, wählte die Mehrheit weniger extreme Verhältnisse als die üblichen Heuristiken vermuten ließe. Wir argumentieren, dass die psychologische Einzelfalldiagnostik von einer expliziten Berücksichtigung entscheidungstheoretischer Implikationen in der Praxis profitieren würde und skizzieren mögliche zukünftige Forschungsrichtungen.