Referenz der Qualitätskennzahlen
Askalot bewertet die Qualität von Umfragedaten in zwei sich ergänzenden Dimensionen, die auf dem Rahmenwerk des Total Survey Error (TSE) beruhen (Groves et al., 2009):
- Repräsentativität der Stichprobe – Entspricht die Demografie der Befragten der Zielpopulation? Quantifiziert Abdeckungs- und Nonresponse-Fehler.
- Antwortqualität – Liefern die Fragen informative, vielfältige Antworten? Erkennt Messfehler.
Beide Dimensionen müssen stimmen, damit Daten für die Analyse taugen.
Kennzahlen zur Repräsentativität der Stichprobe
Abschnitt betitelt „Kennzahlen zur Repräsentativität der Stichprobe“Diese Kennzahlen vergleichen die tatsächliche demografische Verteilung der Befragten mit den Zielverteilungen, die in einer Stichprobenstrategie festgelegt sind.
RMSE (Root Mean Square Error)
Abschnitt betitelt „RMSE (Root Mean Square Error)“Gesamtabweichung zwischen Stichproben- und Zielverteilung über alle demografischen Kategorien.
Dabei ist \(a_i\) der tatsächliche Anteil und \(t_i\) der Zielanteil für Kategorie \(i\).
Durch das Quadrieren bestraft der RMSE große Abweichungen stärker als viele kleine. Eine einzige demografische Kategorie, die 10 Prozentpunkte vom Ziel abweicht, trägt mehr zum RMSE bei als fünf Kategorien mit je 2 Punkten Abweichung.
| RMSE | Interpretation |
|---|---|
| < 0,02 | Ausgezeichnet – die Stichprobe entspricht den Zielen sehr genau |
| 0,02–0,05 | Akzeptabel – geringe Abweichungen, die Gewichtung sollte sie ausgleichen |
| 0,05–0,10 | Bedenklich – deutliche Abweichungen, Ursachen untersuchen |
| > 0,10 | Problematisch – strukturelle Probleme der Stichprobe, Gewichtung reicht womöglich nicht aus |
MAE (Mean Absolute Error)
Abschnitt betitelt „MAE (Mean Absolute Error)“Durchschnittliche Abweichung pro Kategorie. Robuster gegenüber Ausreißerkategorien als der RMSE.
Ist der MAE deutlich kleiner als der RMSE, weichen eine oder zwei Kategorien stark ab, während die übrigen in Ordnung sind. Ist MAE ≈ RMSE, sind die Abweichungen gleichmäßig verteilt.
Chi-Quadrat-Test
Abschnitt betitelt „Chi-Quadrat-Test“Prüft, ob die beobachteten Abweichungen von den Zielen statistisch signifikant sind oder auf zufälliges Stichprobenrauschen zurückgehen.
Dabei ist \(O_i\) die beobachtete Anzahl und \(E_i\) die aus den Zielanteilen erwartete Anzahl.
Maximale Abweichung
Abschnitt betitelt „Maximale Abweichung“Die größte Lücke zwischen tatsächlichem und Zielanteil in einer einzelnen Kategorie. Zeigt die problematischste demografische Kategorie.
| Max. Abweichung | Interpretation |
|---|---|
| < 0,05 | Alle Kategorien im akzeptablen Bereich |
| 0,05–0,10 | Eine Kategorie weicht mäßig ab – vermutlich durch Gewichtung korrigierbar |
| > 0,10 | Strukturelle Lücke – mindestens eine Gruppe ist deutlich über- oder unterrepräsentiert |
Zusammengesetzter Qualitätswert
Abschnitt betitelt „Zusammengesetzter Qualitätswert“Der Gesamtqualitätswert (0–1) ergibt sich aus dem zusammengesetzten Fehler über score = 1 / (1 + 5 × error). Der Fehler ist dabei der gewichtete Durchschnitt der RMSE-Werte aller Faktoren (bzw. der Faktor mit dem schlechtesten Wert bei Maximum-Aggregation). Höher ist besser. Die Qualitätsansicht von Balansor färbt den Wert genau an diesen beiden Schwellen ein:
| Wert | Bewertung | Interpretation |
|---|---|---|
| > 0,8 | Gut (grün) | Die Stichprobe repräsentiert die Zielpopulation angemessen |
| 0,6–0,8 | Akzeptabel (gelb) | Einige Faktoren weichen ab, Gewichtung empfohlen |
| < 0,6 | Schwach (rot) | Erhebliche Repräsentativitätsprobleme – untersuchen Sie die Ursachen, bevor Sie sich auf Schätzungen verlassen |
Diagnose der Gewichtung
Abschnitt betitelt „Diagnose der Gewichtung“Nachdem das Raking (iterative proportionale Anpassung) einen Silver-Datensatz erzeugt hat, zeigen diese Kennzahlen, ob die Gewichtung die Repräsentativität verbessert hat, ohne übermäßige Varianz einzuführen.
Designeffekt (DEFF)
Abschnitt betitelt „Designeffekt (DEFF)“Varianzerhöhung durch ungleiche Gewichtung (Kish, 1965):
Dabei ist \(\text{CV}_w\) der Variationskoeffizient der Gewichte.
| DEFF | Interpretation |
|---|---|
| < 1,5 | Geringer Einfluss auf die Präzision |
| 1,5–2,0 | Mäßiger Präzisionsverlust – für die meisten Studien akzeptabel |
| 2,0–3,0 | Erheblich – Gewichtsverteilung überprüfen |
| > 3,0 | Gravierend – die Gewichtung gleicht strukturelle Stichprobenprobleme aus |
Effektive Stichprobengröße
Abschnitt betitelt „Effektive Stichprobengröße“Die gleichwertige ungewichtete Stichprobengröße unter Berücksichtigung des Designeffekts:
| \(n_{\text{eff}} / n\) | Interpretation |
|---|---|
| > 0,80 | Geringer Effizienzverlust durch die Gewichtung |
| 0,50–0,80 | Mäßiger Verlust – einige Gruppen stark gewichtet |
| < 0,50 | Gravierender Verlust – die Gewichtung gleicht zu stark aus |
Richtwerte für die Gewichtsqualität
Abschnitt betitelt „Richtwerte für die Gewichtsqualität“| Kennzahl | Gut | Akzeptabel | Problematisch |
|---|---|---|---|
| Variationskoeffizient der Gewichte | < 0,5 | 0,5–1,0 | > 1,0 |
| Verhältnis größtes/kleinstes Gewicht | < 4:1 | 4:1–6:1 | > 6:1 |
Abschlussquote
Abschnitt betitelt „Abschlussquote“Anteil der Umfragen einer Kampagne, die vollständig sind, an allen für sie erstellten Umfragen, ob eingeladen oder nicht. Vollständig heißt: Die befragte Person hat mehr als 80 % der Fragen beantwortet, die für sie zutrafen – dieselbe Regel, die auch Abschluss nach Modus verwendet. Wer nach ein paar Fragen auf Abschließen geklickt hat, hat zwar eine geschlossene Umfrage, zählt aber nicht als vollständig. Die Quote liefert ein übergeordnetes Maß für den Erfolg der Feldarbeit und für eine mögliche Nonresponse-Verzerrung.
Abschluss nach Modus
Abschnitt betitelt „Abschluss nach Modus“Die Abschlussquote der Kampagne hat jede erstellte Umfrage im Nenner, ob eingeladen oder nicht, und kann deshalb keine Kanäle vergleichen: Eine befragte Person entscheidet sich erst beim Start für die Webseite oder ihren KI-Assistenten. Der Abschluss nach Modus bezieht sich daher auf die begonnenen Umfragen, also Umfragen, deren erste Frage angezeigt wurde, getrennt für jeden Umfragemodus (direct, ai_assisted, field_interview). Ein Einwilligungsbildschirm ist keine Frage; wer im KI-Assistenten eingewilligt hat und dann nicht weitermachte, zählt also nicht als begonnene Umfrage.
Jede begonnene Umfrage wird nach den AAPOR-Schwellen für Items anhand ihres Anteils beantworteter zutreffender Fragen eingeordnet:
| Disposition | Beantworteter Anteil |
|---|---|
| Vollständig | über 80 % |
| Teilweise | 50 % bis 80 % |
| Abbruch | unter 50 % |
Zutreffende Fragen sind die, die die befragte Person erreicht hat, plus die noch auf ihrem Pfad liegenden, deren Anzeigebedingung wahr ist oder sich aus den bisherigen Antworten noch nicht entscheiden lässt. Eine regulär beendete Umfrage wird also an ihrer eigenen Vollständigkeit gemessen, ein Abbruch dagegen an dem, was noch vor ihm lag. Kommentare tragen keine Antwort und zählen nie.
Die Abschlussquote ist die Zahl vollständiger begonnener Umfragen geteilt durch alle begonnenen Umfragen, angegeben mit einem 95-%-Wilson-Konfidenzintervall. Ein Modus mit weniger als 30 begonnenen Umfragen weist nur seine Zahlen aus, ohne Quote, denn eine Quote über eine Handvoll Fälle liest sich wie ein Befund, obwohl sie Rauschen ist.
Kennzahlen zur Antwortqualität
Abschnitt betitelt „Kennzahlen zur Antwortqualität“Diese Kennzahlen bewerten die Umfrageantworten selbst – unabhängig von der Stichprobenstrategie.
Kennzahlen pro Frage
Abschnitt betitelt „Kennzahlen pro Frage“Normalisierte Entropie (kategoriale Fragen)
Abschnitt betitelt „Normalisierte Entropie (kategoriale Fragen)“Misst die Antwortvielfalt bei Radio- und Dropdown-Fragen. Beruht auf der Shannon-Entropie (Shannon, 1948), normalisiert auf eine Skala von 0 bis 1:
Dabei ist \(p_i\) der Anteil der Antworten mit Option \(i\) und \(k\) die Zahl der verfügbaren Optionen.
| \(H_{\text{norm}}\) | Interpretation |
|---|---|
| > 0,7 | Gute Vielfalt – die Antworten verteilen sich über die Optionen |
| 0,3–0,7 | Mäßig – einige Optionen dominieren |
| < 0,3 | Geringe Vielfalt – die Antworten konzentrieren sich auf wenige Optionen (Decken-/Bodeneffekt) |
Ein Wert von 1,0 bedeutet eine vollkommen gleichmäßige Verteilung. Ein Wert nahe 0,0 bedeutet, dass fast alle Befragten dieselbe Option gewählt haben.
Effektive Anzahl der Antworten
Abschnitt betitelt „Effektive Anzahl der Antworten“Die Hill-Zahl der Ordnung 1 (Hill, 1973) – wie viele Optionen nennenswert ins Gewicht fallen:
Hat eine Frage 5 Optionen, aber \(N_{\text{eff}} = 2.1\), erhalten nur etwa 2 Optionen nennenswert viele Antworten. Anschaulicher als die reine Entropie, wenn es darum geht, wenig genutzte Antwortskalen zu erkennen.
Anteil genutzter Optionen
Abschnitt betitelt „Anteil genutzter Optionen“Anteil der verfügbaren Optionen, die mindestens eine Antwort erhalten haben:
Ein Anteil unter 0,5 deutet darauf hin, dass einige Optionen irrelevant sind und zusammengelegt oder entfernt werden könnten.
Item-Varianz (numerische Fragen)
Abschnitt betitelt „Item-Varianz (numerische Fragen)“Streuung der Antworten bei Eingabefeld-, Schieberegler- und Bereichsfragen; eine Bereichsantwort wird an jedem Ende (kleinster und größter Wert) getrennt gemessen. Bei gewichteten (Silver-)Datensätzen wird die gewichtete Varianz verwendet:
Eine Varianz von null bedeutet, dass alle Befragten dieselbe Antwort gegeben haben – ein starkes Signal für eine schlecht kalibrierte Skala oder einen Decken-/Bodeneffekt.
Die Tabelle pro Frage in Balansor zeigt diese Kennzahl als Standardabweichung (σ, die Quadratwurzel der Varianz), damit sie sich in der Einheit der Frage selbst lesen lässt – die Streuung einer Frage nach dem Immobilienwert erscheint als 787K, nicht als Varianz in Dollar zum Quadrat. Die rohe Varianz bleibt im API-Payload als item_variance erhalten.
Item-Nonresponse-Quote
Abschnitt betitelt „Item-Nonresponse-Quote“Anteil der Befragten, die die Frage übersprungen haben:
| Nonresponse-Quote | Interpretation |
|---|---|
| < 5 % | Normal |
| 5–10 % | Beobachten – kann auf ein heikles Thema oder eine unklare Frage hindeuten |
| 10–20 % | Formulierung, Platzierung oder heikles Thema prüfen |
| > 20 % | Frage neu gestalten |
Steigende Nonresponse-Quoten gegen Ende der Umfrage deuten typischerweise auf Ermüdung der Befragten hin.
Kennzahlen für Gruppen
Abschnitt betitelt „Kennzahlen für Gruppen“Für Fragengruppen und Matrixfragen mit mehreren Unterfragen sowie – beim Straightlining – für eigenständige Fragen, die eine gemeinsame Antwortskala haben.
Straightlining-Wert
Abschnitt betitelt „Straightlining-Wert“Anteil der Befragten, die auf jedes Item eines Sets identisch antworten (Krosnick, 1991). Ein Set ist entweder:
- die Unterfragen einer Fragengruppe oder Matrixfrage, oder
- drei oder mehr eigenständige Fragen mit demselben Steuerelement und genau denselben Antwortoptionen (Codes und Beschriftungen), sofern es mindestens drei Optionen sind. Diese werden als Gemeinsame Skala mit ihren Frage-IDs aufgeführt. Ein Antwortset mit zwei Optionen wie Ja/Nein bleibt außen vor: Fragen, die nichts miteinander zu tun haben, verwenden es ständig, und auf jede davon „Nein“ zu antworten, sagt nichts über die Aufmerksamkeit aus.
Antworten gelten nur innerhalb eines Sets als identisch: Option 1 bei „Abteilung“ und Option 1 bei „Grund für das Ausscheiden“ ist kein Straightlining.
| Straightlining | Interpretation |
|---|---|
| < 5 % | Normal – kein Handlungsbedarf |
| 5–15 % | Untersuchen – kann auf verwirrendes Fragendesign hindeuten |
| > 15 % | Strukturelles Problem – Matrix neu gestalten oder Aufmerksamkeitstests ergänzen |
Cronbachs Alpha (interne Konsistenz)
Abschnitt betitelt „Cronbachs Alpha (interne Konsistenz)“Misst, ob die Unterfragen einer Gruppe dasselbe zugrunde liegende Konstrukt erfassen (Cronbach, 1951). Erfordert mindestens 3 Unterfragen:
Dabei ist \(k\) die Zahl der Unterfragen, \(\sigma^2_i\) die Varianz der Unterfrage \(i\) und \(\sigma^2_{\text{total}}\) die Varianz des Gesamtwerts.
| \(\alpha\) | Interpretation |
|---|---|
| > 0,8 | Gute interne Konsistenz |
| 0,6–0,8 | Akzeptabel |
| < 0,6 | Schwach – die Unterfragen erfassen womöglich nicht dasselbe Konstrukt |
Kennzahlen auf Datensatzebene
Abschnitt betitelt „Kennzahlen auf Datensatzebene“| Kennzahl | Formel | Schwelle für Bedenken |
|---|---|---|
| Mittlere normalisierte Entropie | Durchschnitt von \(H_{\text{norm}}\) über alle kategorialen Fragen | < 0,3 |
| Index der Zustimmungstendenz | Anteil der zustimmenden Antworten über alle Likert-Items | > 0,6 |
| Gesamte Nonresponse-Quote | Mittlere Überspringquote über alle Fragen | > 0,15 |
Index der Zustimmungstendenz
Abschnitt betitelt „Index der Zustimmungstendenz“Erkennt die systematische Neigung, Aussagen unabhängig vom Inhalt zuzustimmen. Wird nur für Likert-Skalen vom Typ Zustimmung/Ablehnung berechnet:
Ein Wert von 0,5 bedeutet keine Verzerrung (ausgewogene Zustimmung/Ablehnung). Werte über 0,6 deuten darauf hin, dass Befragte unabhängig vom Frageinhalt zustimmen – erwägen Sie umgekehrt codierte Items.
Speeder-Erkennung
Abschnitt betitelt „Speeder-Erkennung“Erkennt Befragte, die ungewöhnlich schnell geantwortet haben, was auf unaufmerksames oder automatisiertes Antworten hindeutet (Kunz & Hadler, 2020):
Befragte unterhalb der Schwelle werden als Speeder markiert.
Antwortzeit, nicht verstrichene Zeit. Askalot misst jede Frage einzeln – vom Moment, in dem sie angezeigt wird, bis zum Eintreffen der Antwort – und summiert diese Zeitspannen. Das ist nicht der zeitliche Abstand zwischen dem Erstellen und dem Absenden einer Umfrage, und der Unterschied ist wichtig: Eine befragte Person, die am Montag eingeladen wurde und sich am Donnerstag hinsetzt, kommt auf drei Tage, obwohl sie in völlig normalem Tempo antwortet. Weil die Schwelle ein Median über die gesamte Kohorte ist, würden schon wenige solche Befragte ihn so weit anheben, dass am Ende diejenigen markiert werden, die einfach zügig geantwortet haben.
Zeit für eine Frage, von der die befragte Person anschließend zurückgegangen ist, zählt trotzdem – sie wurde tatsächlich aufgewendet –, auch wenn sie nicht als Antwortversuch zählt.
Aggregation mehrerer Flags (Baseball-Regel)
Abschnitt betitelt „Aggregation mehrerer Flags (Baseball-Regel)“Keine einzelne Qualitätsprüfung sollte allein zum Ausschluss von Befragten führen. Die Baseball-Regel (CloudResearch, 2024) fasst mehrere unabhängige Qualitäts-Flags pro befragter Person zusammen und empfiehlt einen Ausschluss erst, wenn 3 oder mehr Flags zusammentreffen:
| Flag | Auslöser |
|---|---|
| Speeder | Antwortzeit unter 1/3 des Medians |
| Straightliner | Identische Antworten auf jedes Item eines beliebigen Straightlining-Sets (eine Fragengruppe oder drei oder mehr Fragen mit gemeinsamer Skala) |
| Hohe Nonresponse | Mehr als 30 % der Fragen übersprungen |
Dieser Ansatz mit mehreren Indikatoren verringert Fehlalarme – eine befragte Person, die zufällig schnell, aber durchdacht antwortet, wird nicht benachteiligt.
Ergebnisse interpretieren
Abschnitt betitelt „Ergebnisse interpretieren“Typische Muster und Maßnahmen
Abschnitt betitelt „Typische Muster und Maßnahmen“| Beobachtung | Mögliche Ursache | Maßnahme |
|---|---|---|
| Niedrige Entropie (< 30 %) bei einer Frage | Decken-/Bodeneffekt oder schlecht ausbalancierte Optionen | Formulierung der Optionen prüfen; dominierende Kategorie aufteilen |
| Hohe Nonresponse (> 15 %) bei einer Frage | Verwirrende oder sensible Frage | Formulierung vereinfachen oder Freiwilligkeit deutlich machen |
| Hohes Straightlining (> 15 %) in einer Gruppe | Unaufmerksames Antworten oder kaum unterscheidbare Unterfragen | Aufmerksamkeitstests ergänzen; Skalenanker variieren; Itembatterie kürzen |
| Niedriges Cronbachs Alpha (< 0,5) | Die Unterfragen erfassen nicht dasselbe Konstrukt | Itemauswahl überprüfen; schwache Items entfernen |
| Hohe Zustimmungstendenz (> 60 %) | Ja-Sage-Tendenz | Umgekehrt codierte Items ergänzen; Skalenrichtung variieren |
| Geringe Optionsnutzung (< 50 %) | Ungenutzte Optionen sind irrelevant | Selten gewählte Optionen zusammenlegen oder entfernen |
| Hoher RMSE (> 0,05) | Systematische Verzerrung der Stichprobe | Quoten anpassen, Rekrutierungskanäle diversifizieren |
| Großer Designeffekt (> 2,0) | Extreme Gewichtungsanpassungen | Stichprobenbalance verbessern, bevor Sie sich auf die Gewichtung verlassen |
| Speeder markiert (> 5 % der gemessenen Kohorte) | Unaufmerksames oder anreizgetriebenes Antworten | Anreizstruktur überprüfen; Aufmerksamkeitstests ergänzen |
| Befragte mit mehreren Flags | Mehrere Qualitätsprobleme treffen zusammen | Von der Analyse ausschließen; Ausschlusskriterien dokumentieren |
Zwei Dimensionen, ein Bild
Abschnitt betitelt „Zwei Dimensionen, ein Bild“Repräsentativität der Stichprobe und Antwortqualität sind voneinander unabhängige Dimensionen. Ein Datensatz kann ausgezeichnet repräsentativ sein und trotzdem eine schwache Antwortqualität haben, oder umgekehrt.
| Repräsentativität | Antwortqualität | Bewertung |
|---|---|---|
| Gut | Gut | Die Daten taugen für die Analyse |
| Gut | Schwach | Die Stichprobe entspricht den Zielen, aber die Antworten sind unzuverlässig – Messprobleme untersuchen |
| Schwach | Gut | Die Antworten sind echt, aber die Stichprobe ist verzerrt – gewichten oder Rekrutierung anpassen |
| Schwach | Schwach | Strukturelle und Messprobleme zugleich – Rekrutierung und Fragebogendesign angehen |
Methodische Grundlage
Abschnitt betitelt „Methodische Grundlage“Das Rahmenwerk der Qualitätsanalyse stützt sich auf etablierte Methoden der Umfrageforschung:
| Rahmenwerk | Anwendung |
|---|---|
| Total Survey Error (TSE) (Groves et al., 2009) | Ordnet die Kennzahlen nach Fehlerquelle: Abdeckung, Stichprobe, Nonresponse, Messung |
| AAPOR-Standards | Berechnung von Antwortquoten, Dispositionscodes, Qualitätsberichterstattung |
| Kish (1965) | Designeffekte, effektive Stichprobengröße bei komplexen Designs |
| Krosnick (1991) | Satisficing-Theorie – Straightlining und Zustimmungstendenz als Indikatoren der Antwortqualität |
| Shannon (1948) | Informationsentropie als Maß für die Antwortvielfalt |
| Cronbach (1951) | Reliabilität der internen Konsistenz bei Mehr-Item-Skalen |
| Hill (1973) | Effektive Artenzahl (Antworten) – Hill-Zahlen zur Messung von Vielfalt |
| Kalton & Flores-Cervantes (2003) | Gewichtungsverfahren – Raking, Kalibrierung, Trimmen von Gewichten |
| Kunz & Hadler (2020) | Web-Paradaten – Analyse von Antwortzeiten, Schwellen für die Speeder-Erkennung |
| CloudResearch (2024) | Aggregation mehrerer Qualitäts-Flags – Baseball-Regel für den Ausschluss von Befragten |
Weiterführende Dokumentation
Abschnitt betitelt „Weiterführende Dokumentation“- Leitfaden zur Datenanalyse – Pipeline Bronze/Silver/Gold, Gewichtung, Export
- KI-gestützte Ergebnisanalyse – Analyst-Agent für automatisierte Qualitätsberichte
- Datensatz-Tools — MCP-Tool-Referenz – programmatischer Zugriff auf die Qualitätskennzahlen
- Kampagnenverwaltung – Stichprobenstrategien und Befragtenpools