Nimm dir einen Moment Zeit, um dich mit der Benutzeroberfläche vertraut zu machen.

Fahre fort und wähle das erste Beispiel aus.

Kontext: Der Scatter Plot oben zeigt die Gehirn- und Körpergewichte von n = 200 Katzen und n = 200 Chihuahuas. Die Datensätze wurden zufällig aus einer Normalverteilung gezogen. Die Mittelwerte und Standardabweichungen wurden Autopsiedaten entnommen (Bronson, 1979).

Rahmen: Stelle dir vor, du willst (aus welchem Grund auch immer...) einen Machine-Learning-Algorithmus entwickeln, der Katzen und Chihuahuas anhand der gegebenen Daten voneinander unterscheidet. Der blaue Trenner repräsentiert die Ergebnisse deines Algorithmus: Alles über dem Trenner ist als ein Chihuahua klassifiziert, alles darunter als eine Katze.

Schaue dir die Sensitivität und Spezifität an. Wie verändern sie sich, wenn du die Position des Trenners veränderst?

• Versuche die Spezifität für Katzen so hoch wie möglich (auf 1) einzustellen. Wie beeinflusst das die Sensitivität für Katzen? Warum? (Probiere es auch andersherum!)
• Schaue auf die Kontingenztabelle. Welche Werte führen zu Veränderungen in Spezifität und Sensitivität? Warum?
• Was passiert mit der Spezifität und der Sensitivität für Chihuahuas, wenn du die Werte für Katzen anpasst?
• Jetzt schaue dir die Falsch-Negativ-Rate und die Falsch-Positiv-Rate an (Klicke auf den "Einstellungs"-Button, um die zwei Metriken anzuzeigen). Wie verändern sich diese zwei Metriken in Bezug auf Sensitivität und Spezifität?

Kontext: Ein wichtiger Prädiktor von Arbeitsleistung ist die Intelligenz des Kandidaten oder der Kandidatin. Intelligenz und Arbeitsleistung korrellieren positiv miteinander (Sackett et al., 2022; Schmidt & Hunter, 1998; Schmitt, 2014).

Das zweite Maß, das im Scatter Plot gezeigt wird, ist die frühere Führungserfahrung des Bewerbers oder der Bewerberin. Es ist sinnvoll anzunehmen, dass Aufgaben mit Führungsverantwortung einen positiven Einfluss auf die Arbeitsleistung in zukünftigen Führungspositionen haben werden und deshalb im Bewerbungsprozess berücksichtigt werden sollten.

Jedoch gibt es eine Reihe an systematischen Unterschieden zwischen Frauen und Männern in Bezug auf die Führungserfahrung, da Frauen durchschnittlich mehr Care-Arbeit (z.B. Kinderbetreuung oder Pflege von Angehörigen) leisten als Männer und dafür zusätzlich mehr Auszeit von der Arbeit nehmen (OECD, 2014; DeStatis, 2023). Daher ist es sinnvoll anzunehmen, dass Frauen (in Managementpositionen) durchschnittlich weniger Managementerfahrung haben als Männer im selben Alter in ähnlichen Positionen.

Bewerberinnen sind schwarz umrandet im Plot. Du kannst auf die Legende des Plots klicken, um die verschiedenen Gruppen ein- und auszublenden.

Rahmen: Als HR-Manager, der für die Auswahl neuer Managementmitarbeiter und -mitarbeiterinnen in einem großen Unternehmen verantwortlich ist, hast du Zugang zu Daten der Intelligenz (erfasst durch den WIT-2; Subskala "Schlussfolgern") und Führungserfahrung (in Jahren) von N = 400 Bewerbern und Bewerberinnen für eine offene Managementposition. Alle Kandidaten und Kandidatinnen überhalb des Trenners werden zum weiteren Bewerbungsprozess eingeladen.

Dein Unternehmen verwendet ein Machine Learning Modell eines Drittanbieters, das die Kandidaten und Kandidatinnen anhand von Prädiktoren, wie Alter, Führungserfahrung und Bewerbungsinhalten für Führungspositionen einstuft. Das Modell kalkuliert einen Wert zwischen 0 und 100, wobei Bewerber und Bewerberinnen mit einem Wert über 70 als 'wahrscheinlich erfolgreich' kategorisiert werden. Dein Unternehmen verfolgt das Ziel einer ausgeglichenen Repräsentation der Geschlechter in Managementpositionen.

(Bitte beachte, dass dies keine echten Daten sind und, dass ein echter Kandidatenauswahlprozess selbstveständlich anders gestaltet werden sollte!)

• Schau dir noch einmal die Sensitivität und die Spezifität an. Wie würden sich die Werte ändern, wenn sich die beiden Gruppen mehr (oder weniger) überschneiden würden?
• Ist Sensitivität oder Spezifität wichtiger, wenn es darum geht, möglichst viele wahrscheinlich erfolgreiche und möglichst wenige unwahrscheinlich erfolgreiche Bewerber einzuladen?
• Was ist ein wesentlicher Unterschied zwischen Sensitivität und Spezifität einerseits und Positivem und Negativem Vorhersagewert andererseits? Wie unterscheiden sich die Berechnung und die Interpretation der verschiedenen Metriken?
• Aktiviere die Falscherkennungsrate und die Falschauslassungsrate in den Einstellungen. In welchem Verhältnis stehen sie zum Positiven und Negativen Prädiktiven Wert?
• Lass uns nun zu einem anderen Thema übergehen: Fairness. Würdest du deinem Unternehmen empfehlen, weiterhin das maschinelle Lernmodell eines Drittanbieters zu verwenden (und dafür zu bezahlen!)? Was sind die Vor- und Nachteile?

Kontext: Ängste und Depressionen sind positiv korreliert. Dies führt auch zu einem starken gemeinsamen Auftreten (Komorbidität) von depressiven und Angstsyndromen (z.B. Kessler et al., 1999).

Dies spiegelt sich auch in verschiedenen Fragebögen wider. So wird beispielsweise der STAI zur Bewertung von Trait- (Eigenschafts-) und State- (Zustands-)Angst verwendet, und sowohl primär ängstliche als auch primär depressive Patienten weisen höhere Werte für Trait-Angst auf als gesunde Kontrollpersonen (z.B. Kim et al., 2018; Wilbertz et al., 2010).

Darüber hinaus gibt es Hinweise darauf, dass Patienten mit Depressionen häufig höhere Werte bei der Trait-Angst erzielen als Patienten mit Angstzuständen (mögliche Erklärung: Der STAI misst möglicherweise eher den unspezifischen negativen Affekt als die spezifische Trait-Angst; Knowles & Olatunji, 2020; D’Avanzato et al., 2013).

Zudem zeigen Patienten mit Angststörungen auch erhöhte Werte im BDI-II, einem Fragebogen zu depressiven Symptomen (z.B. Coles et al., 2001).

Im psychotherapeutischen Setting ist es von elementarer Bedeutung, neben der "Primärdiagnose" auch Komorbiditäten zu diagnostizieren. Da sich die Behandlung von Angststörungen jedoch von der Behandlung von Depressionen unterscheidet, hat die Primärdiagnose weitreichende Auswirkungen auf die Behandlung, d.h. das Problem, von dem angenommen wird, dass es für das Fortbestehen des Zustands des Patienten von zentraler Bedeutung ist, sollte zuerst behandelt werden und als Primärdiagnose gelten.

Rahmen: Als Psychotherapieforscher entwickelst du einen Test zur Unterscheidung zwischen Patienten mit einer Depression als Hauptdiagnose und Patienten mit einer Angststörung als Hauptdiagnose.

(Wie immer gilt es zu bedenken, dass die gezeigten Daten - auch wenn sie von realen Ergebnissen inspiriert sind - in Wirklichkeit simuliert sind!)

• Betrachten wir ein letztes Mal die Sensitivität und die Spezifität. Angenommen, du willst sicherstellen, dass Patienten mit Depressionen, die auch hohe Angstwerte aufweisen, immer ein Behandlungsprogramm für Depressionen (und keines für Ängste) erhalten. Auf welche der beiden Metriken solltest du achten? Inwieweit gibt es hier einen Kompromiss?
• Aktiviere die Positive und die Negative Likelihood Ratio in den Einstellungen. Vergleiche beide Metriken im Hinblick auf ihre Interpretation. Welche dieser Metriken sollte generell minimiert oder maximiert werden?
• Was bedeutet eine Positive Likelihood Ratio von weniger als 1? Worauf weist ein Wert von genau 1 hin?
• Aktiviere die letzten vier Metriken (Genauigkeit, F₁-Score, Diagnostische Odds Ratio, Youden's J) in den Einstellungen. Was haben sie alle gemeinsam?
• Worin besteht der wesentliche Unterschied zwischen der Diagnostischen Odds Ratio einerseits und der Genauigkeit, dem F₁-Score und Youden's J andererseits?
• Wie unterscheiden sich die Interpretation der Genauigkeit und der Diagnostischen Odds Ratio voneinander?