Gewichtetes Cohens Kappa

Das gewichtete Cohens Kappa ist ein Maß für die Übereinstimmung zweier ordinal skalierter Beurteilungsreihen und wird immer dann verwendet, wenn du wissen möchtest, ob die Messung von zwei Personen übereinstimmt. Die zwei Personen, die etwas messen, werden Rater genannt.

Im Fall des „normalen“ Cohens Kappa ist die Variable, die von den beiden Ratern gemessen werden soll, meist eine nominale Variable. Bei einer nominalen Variablen können die Ausprägungen unterschieden werden, es gibt aber keine Rangfolge zwischen den Ausprägungen.

Das Cohens Kappa berücksichtigt, ob die beiden Rater das Gleiche gemessen haben oder nicht, es berücksichtigt aber nicht den Grad der Unstimmigkeit. Was ist, wenn du nun keine nominale Variable hast, sondern eine ordinale Variable?

Wenn du eine ordinale Variable hast, also eine Variable in der die Ausprägungen geordnet werden können, dann möchtest du diese Ordnung natürlich mit berücksichtigen.

Sagen wir deine Ausprägungen sind unzufrieden, neutral und zufrieden. Zwischen unzufrieden und neutral ist ein kleinerer Unterschied als zwischen unzufrieden und zufrieden. Wenn die Größe des Unterschieds mit berücksichtigt werden soll, muss das gewichtete Cohens Kappa verwendet werden.

Daher, wenn du eine nominale Variable hast, verwendest du das Cohens Kappa. Wenn du eine ordinale Variable hast, verwendest du das gewichtete Cohens Kappa.

Reliabilität und Validität

Wichtig ist zu beachten, dass du mit dem gewichteten Cohens Kappa nur beurteilen kannst, wie stark die Bewertungen beider Rater übereinstimmen. Diese Übereinstimmung ist ein Aspekt der Inter-Rater-Reliabilität. Du kannst aber keine Aussage darüber treffen, ob die beiden Rater das Richtige messen!

Wenn beide Rater fast immer das Gleiche messen, hättest du ein sehr hohes gewichtetes Cohens Kappa. Ob dieser gemessene Wert mit der Realität zusammenpasst, also, das richtige gemessen wird, sagt dir das gewichtete Cohens Kappa nicht! Im ersten Fall spricht man von der Reliabilität. Im zweiten Fall spricht man von der Validität.

Gewichtetes Cohens Kappa berechnen

Wie wird das gewichtete Cohens Kappa berechnet? Sagen wir zwei Ärzte haben bewertet, wie zufrieden sie mit dem Therapieerfolg von Patienten sind. Dabei können die Ärzte mit unzufrieden, neutral und zufrieden antworten.

Nun möchtest du wissen, wie groß die Übereinstimmung der beiden Ärzte ist. Da wir hier eine ordinale Variable mit der Rangordnung unzufrieden, neutral und zufrieden haben, bestimmen wir die Übereinstimmung mit dem gewichteten Cohens Kappa.

Im ersten Schritt erstellen wir uns eine Tabelle mit den Häufigkeiten der jeweiligen Antworten. Dabei tragen wir jeweils auf einer Achse einen Rater auf. Hier haben wir unsere beiden Rater, die jeweils bei einer Person bewertet haben, ob sie mit dem Erfolg unzufrieden, neutral oder zufrieden sind.

Sagen wir, insgesamt wurden 75 Patientinnen und Patienten bewertet. Nun zählen wir, wie oft die jeweilige Kombination vorkommt. Sagen wir, 17-mal haben beide Rater unzufrieden geantwortet, 8-mal hat Rater 1 unzufrieden und Rater 2 neutral, 4-mal hat Rater 1 unzufrieden und Rater 2 zufrieden geantwortet und so weiter und so fort. Bei den Bewertungen, die auf der Diagonalen liegen stimmen beide Rater überein.

Das gewichtete Cohens Kappa kann mit der folgenden Formel berechnet werden:

Dabei sind w die Gewichtungsfaktoren, f_o die beobachteten Häufigkeiten und f_e die erwarteten Häufigkeiten. Anstelle der Häufigkeiten können auch Anteile verwendet werden, also die beobachteten Anteile p_o und die erwarteten Anteile p_e.

Die beobachteten Häufigkeiten haben wir schon ausgerechnet. Würden wir nicht mit den Häufigkeiten, sondern mit den Wahrscheinlichkeiten rechnen, würden wir einfach jede Häufigkeit durch die Anzahl der Patienten teilen, also 75, dann hätten wir die beobachteten Wahrscheinlichkeiten.

Nun brauchen wir aber noch die Gewichtungen und die erwarteten Häufigkeiten. Starten wir mit den erwarteten Häufigkeiten.

Erwartete Häufigkeit berechnen

Um die erwartete Häufigkeit zu berechnen, berechnen wir zunächst die Zeilen- und Spaltensummen. Also summieren wir einfach jede Zeile und jede Spalte auf.

In der ersten Zeile erhalten wir z. B. mit 17 + 8 + 4 eine Summe von 29. Diese teilen wir nun durch 75, die Gesamtanzahl der Fälle.

Nun können wir für jede Zelle die erwartete Wahrscheinlichkeit berechnen, indem wir die Reihen-Wahrscheinlichkeit mit der Spalten-Wahrscheinlichkeit multiplizieren. Also für die erste Zelle erhalten wir 0,35 mal 0,39 was gleich 0,13 ist, für die zweite Zelle 0,44 mal 0,39 was gleich 0,17 ist.

Wenn wir nun jede Wahrscheinlichkeit mit 75 multiplizieren, erhalten wir die erwarteten Häufigkeiten.

Gewichtungsmatrix berechnen

Würden wir gar keine Gewichtung verwenden, würde unsere Matrix nur aus Einsen und in der Diagonalen aus Nullen bestehen. Wenn beide Rater das Gleiche geantwortet haben, steht Null in den Zellen, ansonsten Eins. Es ist egal, wie weit die Rater mit ihrer Antwort auseinanderliegen: Jede unterschiedliche Antwort wird hier mit 1 gewichtet.

Die lineare Gewichtungsmatrix kann mit der nachfolgenden Formel berechnet werden. Sagen wir i ist der Index für die Reihen und j für die Spalten. K ist die Anzahl der Ausprägungen, also in unserem Fall 3.

Damit werden nun Bewertungen die nahe beieinander liegen weniger stark gewichtet als Bewertungen, die weit auseinander liegen.

Wie sieht es nun mit der quadratischen Gewichtung aus? Wenn wir nicht die lineare, sondern die quadratische Gewichtung verwenden, werden die Abstände einfach noch einmal quadriert. Damit werden Bewertungen die weit auseinander liegen im Verhältnis zu Bewertungen die nahe beieinander liegen noch stärker gewichtet als im linearen Fall. Die Gewichtungsmatrix ergibt sich dann mit der folgenden Matrix.

So damit können wir nun entscheiden, ob wir keine Gewichtung verwenden, die lineare oder die quadratische Gewichtung verwenden. Wir rechnen einfach mal mit der linearen Gewichtung weiter.

Gewichtetes Kappa berechnen

Jetzt können wir das gewichtete Kappa ausrechnen. Wir haben die Gewichtungsmatrix, die beobachtete Häufigkeit und die erwartete Häufigkeit. Starten wir mit der Summe in der unteren Grafik. Wir multiplizieren einfach jede einzelne Zelle der Gewichtungsmatrix mit der jeweiligen Zelle der beobachteten Häufigkeit und summieren dies auf. Also 0 mal 17 + 0,5 mal 8 bis schließlich 0 mal 9.

Das Gleiche machen wir nun mit der Gewichtungsmatrix und der erwarteten Häufigkeit. 0 mal 10,05 plus 0,5 mal 12,76 bis schließlich 0 mal 3,84. Wenn wir nun alles ausrechnen, bekommen wir damit ein gewichtetes Kappa von 0,396.

Gewichtetes Cohens Kappa mit numiqo berechnen

Um das gewichtete Cohens Kappa online zu berechnen, gehe einfach auf den Statistik Rechner, kopiere deine eigenen Daten in diese Tabelle und klicke auf den Tab Reliabilität.

numiqo versucht automatisch, den Daten das passende Skalenniveau zuzuordnen. In diesem Fall geht numiqo davon aus, dass es nominale Daten sind. Würden wir Rater 1 und Rater 2 anklicken, berechnet numiqo das normale ungewichtete Cohens Kappa. In unserem Fall sind dies aber ordinale Variablen. Also ändern wir das Skalenniveau einfach auf ordinal.

Wenn wir nun beide Rater anklicken, wird das gewichtete Cohens Kappa berechnet. Wir können nun noch auswählen, ob wir die lineare oder quadratische Gewichtung verwenden möchten. Wir sehen hier die Kreuztabelle, die uns anzeigt, wie oft die jeweiligen Kombinationen vorkommen. Anschließend erhalten wir die Ergebnisse für das Cohens Kappa. Im abgebildeten Rechnerbeispiel erhalten wir ein gewichtetes Cohens Kappa von 0,50.

Wenn du nicht genau weißt, wie man die Ergebnisse interpretieren kann, kannst du einfach auf Zusammenfassung in Worten klicken: Eine Inter-Rater-Reliabilitätsanalyse wurde zwischen den abhängigen Stichproben Rater1 und Rater2 durchgeführt. Hierfür wurde das gewichtete Cohens Kappa berechnet, das ein Maß für die Übereinstimmung zweier verbundener ordinaler Beurteilungsreihen ist. Das gewichtete Cohens Kappa zeigte, dass es zwischen den Stichproben Rater1 und Rater2 mit κ= 0,5 eine moderate Übereinstimmung gab.