Zum Inhalt springen
Wissensdatenbank

Referenz der Qualitätskennzahlen

Askalot bewertet die Qualität von Umfragedaten in zwei sich ergänzenden Dimensionen, die auf dem Rahmenwerk des Total Survey Error (TSE) beruhen (Groves et al., 2009):

  • Repräsentativität der Stichprobe – Entspricht die Demografie der Befragten der Zielpopulation? Quantifiziert Abdeckungs- und Nonresponse-Fehler.
  • Antwortqualität – Liefern die Fragen informative, vielfältige Antworten? Erkennt Messfehler.

Beide Dimensionen müssen stimmen, damit Daten für die Analyse taugen.


Diese Kennzahlen vergleichen die tatsächliche demografische Verteilung der Befragten mit den Zielverteilungen, die in einer Stichprobenstrategie festgelegt sind.

Gesamtabweichung zwischen Stichproben- und Zielverteilung über alle demografischen Kategorien.

\[\text{RMSE} = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (a_i - t_i)^2}\]

Dabei ist \(a_i\) der tatsächliche Anteil und \(t_i\) der Zielanteil für Kategorie \(i\).

Durch das Quadrieren bestraft der RMSE große Abweichungen stärker als viele kleine. Eine einzige demografische Kategorie, die 10 Prozentpunkte vom Ziel abweicht, trägt mehr zum RMSE bei als fünf Kategorien mit je 2 Punkten Abweichung.

RMSE Interpretation
< 0,02 Ausgezeichnet – die Stichprobe entspricht den Zielen sehr genau
0,02–0,05 Akzeptabel – geringe Abweichungen, die Gewichtung sollte sie ausgleichen
0,05–0,10 Bedenklich – deutliche Abweichungen, Ursachen untersuchen
> 0,10 Problematisch – strukturelle Probleme der Stichprobe, Gewichtung reicht womöglich nicht aus

Durchschnittliche Abweichung pro Kategorie. Robuster gegenüber Ausreißerkategorien als der RMSE.

\[\text{MAE} = \frac{1}{N} \sum_{i=1}^{N} |a_i - t_i|\]

Ist der MAE deutlich kleiner als der RMSE, weichen eine oder zwei Kategorien stark ab, während die übrigen in Ordnung sind. Ist MAE ≈ RMSE, sind die Abweichungen gleichmäßig verteilt.

Prüft, ob die beobachteten Abweichungen von den Zielen statistisch signifikant sind oder auf zufälliges Stichprobenrauschen zurückgehen.

\[\chi^2 = \sum_{i=1}^{k} \frac{(O_i - E_i)^2}{E_i}\]

Dabei ist \(O_i\) die beobachtete Anzahl und \(E_i\) die aus den Zielanteilen erwartete Anzahl.

Die größte Lücke zwischen tatsächlichem und Zielanteil in einer einzelnen Kategorie. Zeigt die problematischste demografische Kategorie.

Max. Abweichung Interpretation
< 0,05 Alle Kategorien im akzeptablen Bereich
0,05–0,10 Eine Kategorie weicht mäßig ab – vermutlich durch Gewichtung korrigierbar
> 0,10 Strukturelle Lücke – mindestens eine Gruppe ist deutlich über- oder unterrepräsentiert

Der Gesamtqualitätswert (0–1) ergibt sich aus dem zusammengesetzten Fehler über score = 1 / (1 + 5 × error). Der Fehler ist dabei der gewichtete Durchschnitt der RMSE-Werte aller Faktoren (bzw. der Faktor mit dem schlechtesten Wert bei Maximum-Aggregation). Höher ist besser. Die Qualitätsansicht von Balansor färbt den Wert genau an diesen beiden Schwellen ein:

Wert Bewertung Interpretation
> 0,8 Gut (grün) Die Stichprobe repräsentiert die Zielpopulation angemessen
0,6–0,8 Akzeptabel (gelb) Einige Faktoren weichen ab, Gewichtung empfohlen
< 0,6 Schwach (rot) Erhebliche Repräsentativitätsprobleme – untersuchen Sie die Ursachen, bevor Sie sich auf Schätzungen verlassen

Nachdem das Raking (iterative proportionale Anpassung) einen Silver-Datensatz erzeugt hat, zeigen diese Kennzahlen, ob die Gewichtung die Repräsentativität verbessert hat, ohne übermäßige Varianz einzuführen.

Varianzerhöhung durch ungleiche Gewichtung (Kish, 1965):

\[\text{DEFF} = 1 + \text{CV}^2_w\]

Dabei ist \(\text{CV}_w\) der Variationskoeffizient der Gewichte.

DEFF Interpretation
< 1,5 Geringer Einfluss auf die Präzision
1,5–2,0 Mäßiger Präzisionsverlust – für die meisten Studien akzeptabel
2,0–3,0 Erheblich – Gewichtsverteilung überprüfen
> 3,0 Gravierend – die Gewichtung gleicht strukturelle Stichprobenprobleme aus

Die gleichwertige ungewichtete Stichprobengröße unter Berücksichtigung des Designeffekts:

\[n_{\text{eff}} = \frac{n}{\text{DEFF}} = \frac{(\sum w_i)^2}{\sum w_i^2}\]
\(n_{\text{eff}} / n\) Interpretation
> 0,80 Geringer Effizienzverlust durch die Gewichtung
0,50–0,80 Mäßiger Verlust – einige Gruppen stark gewichtet
< 0,50 Gravierender Verlust – die Gewichtung gleicht zu stark aus
Kennzahl Gut Akzeptabel Problematisch
Variationskoeffizient der Gewichte < 0,5 0,5–1,0 > 1,0
Verhältnis größtes/kleinstes Gewicht < 4:1 4:1–6:1 > 6:1

Anteil der Umfragen einer Kampagne, die vollständig sind, an allen für sie erstellten Umfragen, ob eingeladen oder nicht. Vollständig heißt: Die befragte Person hat mehr als 80 % der Fragen beantwortet, die für sie zutrafen – dieselbe Regel, die auch Abschluss nach Modus verwendet. Wer nach ein paar Fragen auf Abschließen geklickt hat, hat zwar eine geschlossene Umfrage, zählt aber nicht als vollständig. Die Quote liefert ein übergeordnetes Maß für den Erfolg der Feldarbeit und für eine mögliche Nonresponse-Verzerrung.

Die Abschlussquote der Kampagne hat jede erstellte Umfrage im Nenner, ob eingeladen oder nicht, und kann deshalb keine Kanäle vergleichen: Eine befragte Person entscheidet sich erst beim Start für die Webseite oder ihren KI-Assistenten. Der Abschluss nach Modus bezieht sich daher auf die begonnenen Umfragen, also Umfragen, deren erste Frage angezeigt wurde, getrennt für jeden Umfragemodus (direct, ai_assisted, field_interview). Ein Einwilligungsbildschirm ist keine Frage; wer im KI-Assistenten eingewilligt hat und dann nicht weitermachte, zählt also nicht als begonnene Umfrage.

Jede begonnene Umfrage wird nach den AAPOR-Schwellen für Items anhand ihres Anteils beantworteter zutreffender Fragen eingeordnet:

Disposition Beantworteter Anteil
Vollständig über 80 %
Teilweise 50 % bis 80 %
Abbruch unter 50 %

Zutreffende Fragen sind die, die die befragte Person erreicht hat, plus die noch auf ihrem Pfad liegenden, deren Anzeigebedingung wahr ist oder sich aus den bisherigen Antworten noch nicht entscheiden lässt. Eine regulär beendete Umfrage wird also an ihrer eigenen Vollständigkeit gemessen, ein Abbruch dagegen an dem, was noch vor ihm lag. Kommentare tragen keine Antwort und zählen nie.

Die Abschlussquote ist die Zahl vollständiger begonnener Umfragen geteilt durch alle begonnenen Umfragen, angegeben mit einem 95-%-Wilson-Konfidenzintervall. Ein Modus mit weniger als 30 begonnenen Umfragen weist nur seine Zahlen aus, ohne Quote, denn eine Quote über eine Handvoll Fälle liest sich wie ein Befund, obwohl sie Rauschen ist.


Diese Kennzahlen bewerten die Umfrageantworten selbst – unabhängig von der Stichprobenstrategie.

Misst die Antwortvielfalt bei Radio- und Dropdown-Fragen. Beruht auf der Shannon-Entropie (Shannon, 1948), normalisiert auf eine Skala von 0 bis 1:

\[H_{\text{norm}} = \frac{H}{\log k} = \frac{-\sum_{i=1}^{k} p_i \log p_i}{\log k}\]

Dabei ist \(p_i\) der Anteil der Antworten mit Option \(i\) und \(k\) die Zahl der verfügbaren Optionen.

\(H_{\text{norm}}\) Interpretation
> 0,7 Gute Vielfalt – die Antworten verteilen sich über die Optionen
0,3–0,7 Mäßig – einige Optionen dominieren
< 0,3 Geringe Vielfalt – die Antworten konzentrieren sich auf wenige Optionen (Decken-/Bodeneffekt)

Ein Wert von 1,0 bedeutet eine vollkommen gleichmäßige Verteilung. Ein Wert nahe 0,0 bedeutet, dass fast alle Befragten dieselbe Option gewählt haben.

Die Hill-Zahl der Ordnung 1 (Hill, 1973) – wie viele Optionen nennenswert ins Gewicht fallen:

\[N_{\text{eff}} = \exp(H) = \exp\!\left(-\sum_{i=1}^{k} p_i \log p_i\right)\]

Hat eine Frage 5 Optionen, aber \(N_{\text{eff}} = 2.1\), erhalten nur etwa 2 Optionen nennenswert viele Antworten. Anschaulicher als die reine Entropie, wenn es darum geht, wenig genutzte Antwortskalen zu erkennen.

Anteil der verfügbaren Optionen, die mindestens eine Antwort erhalten haben:

\[\text{OUR} = \frac{|\{i : c_i > 0\}|}{k}\]

Ein Anteil unter 0,5 deutet darauf hin, dass einige Optionen irrelevant sind und zusammengelegt oder entfernt werden könnten.

Streuung der Antworten bei Eingabefeld-, Schieberegler- und Bereichsfragen; eine Bereichsantwort wird an jedem Ende (kleinster und größter Wert) getrennt gemessen. Bei gewichteten (Silver-)Datensätzen wird die gewichtete Varianz verwendet:

\[\sigma^2_w = \frac{\sum_{i=1}^{n} w_i (x_i - \bar{x}_w)^2}{\sum_{i=1}^{n} w_i}\]

Eine Varianz von null bedeutet, dass alle Befragten dieselbe Antwort gegeben haben – ein starkes Signal für eine schlecht kalibrierte Skala oder einen Decken-/Bodeneffekt.

Die Tabelle pro Frage in Balansor zeigt diese Kennzahl als Standardabweichung (σ, die Quadratwurzel der Varianz), damit sie sich in der Einheit der Frage selbst lesen lässt – die Streuung einer Frage nach dem Immobilienwert erscheint als 787K, nicht als Varianz in Dollar zum Quadrat. Die rohe Varianz bleibt im API-Payload als item_variance erhalten.

Anteil der Befragten, die die Frage übersprungen haben:

\[\text{NRR} = \frac{n_{\text{missing}}}{n_{\text{total}}}\]
Nonresponse-Quote Interpretation
< 5 % Normal
5–10 % Beobachten – kann auf ein heikles Thema oder eine unklare Frage hindeuten
10–20 % Formulierung, Platzierung oder heikles Thema prüfen
> 20 % Frage neu gestalten

Steigende Nonresponse-Quoten gegen Ende der Umfrage deuten typischerweise auf Ermüdung der Befragten hin.

Für Fragengruppen und Matrixfragen mit mehreren Unterfragen sowie – beim Straightlining – für eigenständige Fragen, die eine gemeinsame Antwortskala haben.

Anteil der Befragten, die auf jedes Item eines Sets identisch antworten (Krosnick, 1991). Ein Set ist entweder:

  • die Unterfragen einer Fragengruppe oder Matrixfrage, oder
  • drei oder mehr eigenständige Fragen mit demselben Steuerelement und genau denselben Antwortoptionen (Codes und Beschriftungen), sofern es mindestens drei Optionen sind. Diese werden als Gemeinsame Skala mit ihren Frage-IDs aufgeführt. Ein Antwortset mit zwei Optionen wie Ja/Nein bleibt außen vor: Fragen, die nichts miteinander zu tun haben, verwenden es ständig, und auf jede davon „Nein“ zu antworten, sagt nichts über die Aufmerksamkeit aus.

Antworten gelten nur innerhalb eines Sets als identisch: Option 1 bei „Abteilung“ und Option 1 bei „Grund für das Ausscheiden“ ist kein Straightlining.

\[S = \frac{n_{\text{straightliners}}}{n_{\text{respondents}}}\]
Straightlining Interpretation
< 5 % Normal – kein Handlungsbedarf
5–15 % Untersuchen – kann auf verwirrendes Fragendesign hindeuten
> 15 % Strukturelles Problem – Matrix neu gestalten oder Aufmerksamkeitstests ergänzen

Misst, ob die Unterfragen einer Gruppe dasselbe zugrunde liegende Konstrukt erfassen (Cronbach, 1951). Erfordert mindestens 3 Unterfragen:

\[\alpha = \frac{k}{k-1} \left(1 - \frac{\sum_{i=1}^{k} \sigma^2_i}{\sigma^2_{\text{total}}}\right)\]

Dabei ist \(k\) die Zahl der Unterfragen, \(\sigma^2_i\) die Varianz der Unterfrage \(i\) und \(\sigma^2_{\text{total}}\) die Varianz des Gesamtwerts.

\(\alpha\) Interpretation
> 0,8 Gute interne Konsistenz
0,6–0,8 Akzeptabel
< 0,6 Schwach – die Unterfragen erfassen womöglich nicht dasselbe Konstrukt
Kennzahl Formel Schwelle für Bedenken
Mittlere normalisierte Entropie Durchschnitt von \(H_{\text{norm}}\) über alle kategorialen Fragen < 0,3
Index der Zustimmungstendenz Anteil der zustimmenden Antworten über alle Likert-Items > 0,6
Gesamte Nonresponse-Quote Mittlere Überspringquote über alle Fragen > 0,15

Erkennt die systematische Neigung, Aussagen unabhängig vom Inhalt zuzustimmen. Wird nur für Likert-Skalen vom Typ Zustimmung/Ablehnung berechnet:

\[\text{ABI} = \frac{\sum \text{agree responses}}{\sum \text{total Likert responses}}\]

Ein Wert von 0,5 bedeutet keine Verzerrung (ausgewogene Zustimmung/Ablehnung). Werte über 0,6 deuten darauf hin, dass Befragte unabhängig vom Frageinhalt zustimmen – erwägen Sie umgekehrt codierte Items.

Erkennt Befragte, die ungewöhnlich schnell geantwortet haben, was auf unaufmerksames oder automatisiertes Antworten hindeutet (Kunz & Hadler, 2020):

\[\text{threshold} = \frac{\text{median answering time}}{3}\]

Befragte unterhalb der Schwelle werden als Speeder markiert.

Antwortzeit, nicht verstrichene Zeit. Askalot misst jede Frage einzeln – vom Moment, in dem sie angezeigt wird, bis zum Eintreffen der Antwort – und summiert diese Zeitspannen. Das ist nicht der zeitliche Abstand zwischen dem Erstellen und dem Absenden einer Umfrage, und der Unterschied ist wichtig: Eine befragte Person, die am Montag eingeladen wurde und sich am Donnerstag hinsetzt, kommt auf drei Tage, obwohl sie in völlig normalem Tempo antwortet. Weil die Schwelle ein Median über die gesamte Kohorte ist, würden schon wenige solche Befragte ihn so weit anheben, dass am Ende diejenigen markiert werden, die einfach zügig geantwortet haben.

Zeit für eine Frage, von der die befragte Person anschließend zurückgegangen ist, zählt trotzdem – sie wurde tatsächlich aufgewendet –, auch wenn sie nicht als Antwortversuch zählt.

Keine einzelne Qualitätsprüfung sollte allein zum Ausschluss von Befragten führen. Die Baseball-Regel (CloudResearch, 2024) fasst mehrere unabhängige Qualitäts-Flags pro befragter Person zusammen und empfiehlt einen Ausschluss erst, wenn 3 oder mehr Flags zusammentreffen:

Flag Auslöser
Speeder Antwortzeit unter 1/3 des Medians
Straightliner Identische Antworten auf jedes Item eines beliebigen Straightlining-Sets (eine Fragengruppe oder drei oder mehr Fragen mit gemeinsamer Skala)
Hohe Nonresponse Mehr als 30 % der Fragen übersprungen

Dieser Ansatz mit mehreren Indikatoren verringert Fehlalarme – eine befragte Person, die zufällig schnell, aber durchdacht antwortet, wird nicht benachteiligt.


Beobachtung Mögliche Ursache Maßnahme
Niedrige Entropie (< 30 %) bei einer Frage Decken-/Bodeneffekt oder schlecht ausbalancierte Optionen Formulierung der Optionen prüfen; dominierende Kategorie aufteilen
Hohe Nonresponse (> 15 %) bei einer Frage Verwirrende oder sensible Frage Formulierung vereinfachen oder Freiwilligkeit deutlich machen
Hohes Straightlining (> 15 %) in einer Gruppe Unaufmerksames Antworten oder kaum unterscheidbare Unterfragen Aufmerksamkeitstests ergänzen; Skalenanker variieren; Itembatterie kürzen
Niedriges Cronbachs Alpha (< 0,5) Die Unterfragen erfassen nicht dasselbe Konstrukt Itemauswahl überprüfen; schwache Items entfernen
Hohe Zustimmungstendenz (> 60 %) Ja-Sage-Tendenz Umgekehrt codierte Items ergänzen; Skalenrichtung variieren
Geringe Optionsnutzung (< 50 %) Ungenutzte Optionen sind irrelevant Selten gewählte Optionen zusammenlegen oder entfernen
Hoher RMSE (> 0,05) Systematische Verzerrung der Stichprobe Quoten anpassen, Rekrutierungskanäle diversifizieren
Großer Designeffekt (> 2,0) Extreme Gewichtungsanpassungen Stichprobenbalance verbessern, bevor Sie sich auf die Gewichtung verlassen
Speeder markiert (> 5 % der gemessenen Kohorte) Unaufmerksames oder anreizgetriebenes Antworten Anreizstruktur überprüfen; Aufmerksamkeitstests ergänzen
Befragte mit mehreren Flags Mehrere Qualitätsprobleme treffen zusammen Von der Analyse ausschließen; Ausschlusskriterien dokumentieren

Repräsentativität der Stichprobe und Antwortqualität sind voneinander unabhängige Dimensionen. Ein Datensatz kann ausgezeichnet repräsentativ sein und trotzdem eine schwache Antwortqualität haben, oder umgekehrt.

Repräsentativität Antwortqualität Bewertung
Gut Gut Die Daten taugen für die Analyse
Gut Schwach Die Stichprobe entspricht den Zielen, aber die Antworten sind unzuverlässig – Messprobleme untersuchen
Schwach Gut Die Antworten sind echt, aber die Stichprobe ist verzerrt – gewichten oder Rekrutierung anpassen
Schwach Schwach Strukturelle und Messprobleme zugleich – Rekrutierung und Fragebogendesign angehen

Das Rahmenwerk der Qualitätsanalyse stützt sich auf etablierte Methoden der Umfrageforschung:

Rahmenwerk Anwendung
Total Survey Error (TSE) (Groves et al., 2009) Ordnet die Kennzahlen nach Fehlerquelle: Abdeckung, Stichprobe, Nonresponse, Messung
AAPOR-Standards Berechnung von Antwortquoten, Dispositionscodes, Qualitätsberichterstattung
Kish (1965) Designeffekte, effektive Stichprobengröße bei komplexen Designs
Krosnick (1991) Satisficing-Theorie – Straightlining und Zustimmungstendenz als Indikatoren der Antwortqualität
Shannon (1948) Informationsentropie als Maß für die Antwortvielfalt
Cronbach (1951) Reliabilität der internen Konsistenz bei Mehr-Item-Skalen
Hill (1973) Effektive Artenzahl (Antworten) – Hill-Zahlen zur Messung von Vielfalt
Kalton & Flores-Cervantes (2003) Gewichtungsverfahren – Raking, Kalibrierung, Trimmen von Gewichten
Kunz & Hadler (2020) Web-Paradaten – Analyse von Antwortzeiten, Schwellen für die Speeder-Erkennung
CloudResearch (2024) Aggregation mehrerer Qualitäts-Flags – Baseball-Regel für den Ausschluss von Befragten