Attributive Übereinstimmungsanalyse
Mit diesem Rechner untersuchst du kategoriale Prüfergebnisse, etwa in Ordnung/nicht in Ordnung oder Fehlerkategorien. Bewerte die Übereinstimmung innerhalb eines Prüfers, zwischen Prüfern und mit einem anerkannten Standard. Die Ergebnisse umfassen prozentuale Übereinstimmung, Konfidenzintervalle und Fleiss' Kappa.
Beispieldaten für attributive MSA ladenSo berechnest du die attributive Übereinstimmung
- Wähle Attributive Daten. Trage numerische Teilenummern in eine Spalte und die Bewertungen jedes Prüfers in eine eigene Spalte ein.
- Wiederhole jede Teilenummer für jeden Durchgang in einer neuen Zeile. Jeder Prüfer muss jedes Teil mindestens zweimal bewerten, mit gleicher Anzahl an Durchgängen und vollständigen Bewertungen.
- Wähle die Teilenummer unter Teil und die Bewertungsspalten unter Prüfer. So erhältst du die Übereinstimmung innerhalb der Prüfer.
- Wähle bei vorhandenen Referenzbewertungen deren Spalte unter Experte (Standard). Wiederhole für jedes Teil dieselbe Referenzbewertung in allen Zeilen. In diesem Rechner aktiviert die Auswahl eines Standards auch die Tabellen zur Übereinstimmung zwischen Prüfern und zur Gesamtübereinstimmung.
- Beurteile Prozentwerte und Konfidenzintervalle gemeinsam mit Kappa. Prüfe insbesondere Abweichungen vom Standard.
Benötigte Datenstruktur
Verwende eine Spalte je Prüfer und keine einzelne Spalte mit Prüfernamen. Das kleine Beispiel zeigt zwei Durchgänge je Teil. Eine tatsächliche Studie benötigt eine repräsentative Auswahl von Teilen und Kategorien.
| Teil | Prüfer A | Prüfer B | Standard |
|---|---|---|---|
| 1 | i. O. | i. O. | i. O. |
| 1 | i. O. | n. i. O. | i. O. |
| 2 | n. i. O. | n. i. O. | n. i. O. |
| 2 | n. i. O. | n. i. O. | n. i. O. |
Prüfer B ändert die Bewertung von Teil 1 zwischen den Durchgängen. Prüfer A bewertet beide Teile konsistent und stimmt mit dem Standard überein. Wiederholbarkeit und Übereinstimmung mit dem Standard beantworten somit unterschiedliche Fragen.
Vollständiges Beispiel für attributive MSA
Der Beispieldatensatz enthält 30 Teile, jeweils zweimal bewertet von Liam, Noor und Sofia, sowie eine Spalte Standard. Lade die Daten, wähle Teil und Standard und markiere alle drei Prüfer. Die Kategorien 1 bis 5 sind Bewertungen, keine stetigen Messwerte. Das ausgegebene Kappa ist ungewichtet: Eine Abweichung um eine Kategorie wird nicht anders gewichtet als eine größere Abweichung.
Übereinstimmung und Kappa interpretieren
- Innerhalb eines Prüfers: Bewertet dieselbe Person ein Teil bei Wiederholungen gleich?
- Zwischen Prüfern: Bewerten verschiedene Personen dieselben Teile gleich? Unterschiede können auf uneinheitliche Auslegung der Kriterien hinweisen.
- Mit dem Standard: Stimmen die Bewertungen mit der anerkannten Klassifikation überein? Prüfer können sich einig sein und trotzdem falsch liegen.
- Kappa: berücksichtigt die aufgrund der Kategoriehäufigkeiten zufällig erwartete Übereinstimmung. 1 bedeutet perfekte Übereinstimmung, Werte um 0 entsprechen ungefähr der zufälligen Erwartung, negative Werte liegen darunter.
Die Übereinstimmungstabellen zählen Teile, die die jeweilige Bedingung über die wiederholten Bewertungen hinweg erfüllen, nicht einfach einzelne passende Entscheidungen. Berücksichtige die 95%-Konfidenzintervalle: Wenige Daten können große Unsicherheit bedeuten. Ungleiche Kategoriehäufigkeiten beeinflussen Kappa; verwende deshalb keinen einzelnen Kappa-Grenzwert als alleiniges Annahmekriterium.
Eine aussagekräftige Studie planen
Beziehe repräsentative Teile und schwierige Fälle an Entscheidungsgrenzen ein. Randomisiere die Prüfreihenfolge und halte frühere Bewertungen sowie Referenzklassifikationen vor den Prüfern verborgen. Definiere die Kategorien eindeutig und verwende einheitliche Bezeichnungen. Ohne verlässlichen Standard misst Übereinstimmung Konsistenz, nicht Richtigkeit.
Für stetige Messwerte wie Länge oder Gewicht nutze die Gage-R&R-Analyse. Für wiederholte Messungen eines einzelnen Referenzteils eignet sich die Messsystemanalyse (MSA) Typ I.