Aller au contenu
Base de connaissances

Référence des indicateurs de qualité

Askalot évalue la qualité des données d’enquête selon deux dimensions complémentaires, fondées sur le cadre de l’erreur d’enquête totale (TSE) (Groves et al., 2009) :

  • Représentativité de l’échantillon : la démographie des répondants correspond-elle à la population cible ? Quantifie l’erreur de couverture et l’erreur de non-réponse.
  • Qualité des réponses : les questions de l’enquête produisent-elles des réponses informatives et variées ? Détecte l’erreur de mesure.

Les deux dimensions doivent être satisfaisantes pour que les données se prêtent à l’analyse.


Indicateurs de représentativité de l’échantillon

Section intitulée « Indicateurs de représentativité de l’échantillon »

Ces indicateurs comparent la distribution démographique réelle des répondants aux distributions cibles définies dans une stratégie d’échantillonnage.

Écart global entre les distributions de l’échantillon et les distributions cibles, sur l’ensemble des catégories démographiques.

\[\text{RMSE} = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (a_i - t_i)^2}\]

Où \(a_i\) est la proportion réelle et \(t_i\) la proportion cible pour la catégorie \(i\).

En raison du terme au carré, la RMSE pénalise davantage un grand écart que de nombreux petits. Une seule catégorie démographique décalée de 10 points de pourcentage pèse plus lourd dans la RMSE que cinq catégories décalées chacune de 2 points.

RMSE Interprétation
< 0,02 Excellent : l’échantillon correspond étroitement aux cibles
0,02–0,05 Acceptable : écarts mineurs, que la pondération devrait corriger
0,05–0,10 Préoccupant : écarts importants, recherchez-en les causes
> 0,10 Problématique : défauts structurels d’échantillonnage, la pondération risque de ne pas suffire

Écart moyen par catégorie. Moins sensible que la RMSE aux catégories aberrantes.

\[\text{MAE} = \frac{1}{N} \sum_{i=1}^{N} |a_i - t_i|\]

Lorsque la MAE est nettement inférieure à la RMSE, une ou deux catégories sont fortement décalées tandis que les autres sont correctes. Lorsque MAE ≈ RMSE, les écarts sont répartis uniformément.

Teste si les écarts observés par rapport aux cibles sont statistiquement significatifs ou relèvent du simple bruit d’échantillonnage.

\[\chi^2 = \sum_{i=1}^{k} \frac{(O_i - E_i)^2}{E_i}\]

Où \(O_i\) est l’effectif observé et \(E_i\) l’effectif attendu d’après les proportions cibles.

Le plus grand écart, sur une seule catégorie, entre les proportions réelles et cibles. Identifie la catégorie démographique la plus problématique.

Écart maximal Interprétation
< 0,05 Toutes les catégories sont dans une plage acceptable
0,05–0,10 Une catégorie modérément décalée, probablement corrigeable par pondération
> 0,10 Lacune structurelle : au moins un groupe est nettement mal représenté

Le score de qualité global (de 0 à 1) est obtenu à partir de l’erreur composite par score = 1 / (1 + 5 × error), où l’erreur est la moyenne pondérée de la RMSE de chaque facteur (ou celle du facteur le plus défavorable en agrégation par maximum). Plus le score est élevé, mieux c’est. L’interface qualité de Balansor colore le score exactement selon ces deux seuils :

Score Appréciation Interprétation
> 0,8 Bon (vert) L’échantillon représente correctement la population cible
0,6–0,8 Acceptable (jaune) Certains facteurs s’écartent des cibles, une pondération est recommandée
< 0,6 Faible (rouge) Problèmes de représentativité importants : recherchez les causes profondes avant de vous fier aux estimations

Une fois que le calage (raking, ajustement proportionnel itératif) a produit un jeu de données Silver, ces indicateurs permettent de juger si la pondération a amélioré la représentativité sans introduire une variance excessive.

Inflation de la variance due à une pondération inégale (Kish, 1965) :

\[\text{DEFF} = 1 + \text{CV}^2_w\]

Où \(\text{CV}_w\) est le coefficient de variation des poids.

DEFF Interprétation
< 1,5 Impact minime sur la précision
1,5–2,0 Perte de précision modérée, acceptable pour la plupart des études
2,0–3,0 Importante : examinez la distribution des poids
> 3,0 Sévère : la pondération compense des problèmes structurels de l’échantillon

La taille d’échantillon non pondéré équivalente, une fois l’effet de plan pris en compte :

\[n_{\text{eff}} = \frac{n}{\text{DEFF}} = \frac{(\sum w_i)^2}{\sum w_i^2}\]
\(n_{\text{eff}} / n\) Interprétation
> 0,80 Perte d’efficacité minime due à la pondération
0,50–0,80 Perte modérée : certains groupes sont fortement pondérés
< 0,50 Perte sévère : la pondération compense de manière trop agressive
Indicateur Bon Acceptable Problématique
CV des poids < 0,5 0,5–1,0 > 1,0
Rapport poids max/min < 4:1 4:1–6:1 > 6:1

Proportion des enquêtes d’une campagne qui sont complètes, parmi toutes les enquêtes créées pour elle, qu’elles aient fait l’objet d’une invitation ou non. Une enquête est complète lorsque le répondant a répondu à plus de 80 % des questions qui le concernaient, selon la même règle que celle de l’achèvement par mode. Un répondant qui a cliqué sur Terminer après quelques questions a une enquête clôturée, mais n’est pas compté comme complet. Cet indicateur donne une mesure globale de la réussite du terrain et du risque de biais de non-réponse.

Le taux d’achèvement de la campagne divise par toutes les enquêtes créées, avec ou sans invitation, et ne permet donc pas de comparer les canaux : un répondant ne choisit la page web ou son assistant IA qu’au moment où il commence. L’achèvement par mode divise donc par les démarrages, c’est-à-dire les enquêtes dont la première question a été affichée, séparément pour chaque mode d’enquête (direct, ai_assisted, field_interview). Un écran de consentement n’est pas une question : un répondant qui a donné son consentement dans l’assistant IA sans aller plus loin ne compte pas comme un démarrage.

Chaque démarrage est classé selon les seuils par item de l’AAPOR, d’après la part des questions applicables auxquelles il a été répondu :

Statut Part de réponses
Complète plus de 80 %
Partielle de 50 % à 80 %
Abandon moins de 50 %

Les questions applicables sont celles que le répondant a atteintes, plus celles qui restent à venir sur son parcours et dont la condition d’affichage est vraie ou pas encore décidable d’après les réponses données. Une enquête terminée normalement est donc mesurée à l’aune de sa propre complétude, tandis qu’un abandon est mesuré par rapport à ce qui lui restait à parcourir. Les commentaires n’appellent aucune réponse et ne comptent jamais.

Le taux d’achèvement correspond aux démarrages complets divisés par l’ensemble des démarrages, présenté avec un intervalle de confiance de Wilson à 95 %. Un mode comptant moins de 30 démarrages affiche ses effectifs sans taux, car un taux calculé sur une poignée de cas se lit comme un résultat alors qu’il n’est que du bruit.


Ces indicateurs évaluent les réponses elles-mêmes, indépendamment de la stratégie d’échantillonnage.

Mesure la diversité des réponses aux questions à boutons radio et à liste déroulante. Fondée sur l’entropie de Shannon (Shannon, 1948), normalisée sur une échelle de 0 à 1 :

\[H_{\text{norm}} = \frac{H}{\log k} = \frac{-\sum_{i=1}^{k} p_i \log p_i}{\log k}\]

Où \(p_i\) est la proportion de réponses choisissant l’option \(i\) et \(k\) le nombre d’options disponibles.

\(H_{\text{norm}}\) Interprétation
> 0,7 Bonne diversité : les réponses se répartissent entre les options
0,3–0,7 Modérée : certaines options dominent
< 0,3 Faible diversité : les réponses se concentrent sur quelques options (effet plafond ou plancher)

Une valeur de 1,0 correspond à une distribution parfaitement uniforme. Une valeur proche de 0,0 signifie que presque tous les répondants ont choisi la même option.

Le nombre de Hill d’ordre 1 (Hill, 1973) indique combien d’options pèsent réellement :

\[N_{\text{eff}} = \exp(H) = \exp\!\left(-\sum_{i=1}^{k} p_i \log p_i\right)\]

Si une question a 5 options mais que \(N_{\text{eff}} = 2.1\), seules 2 options environ reçoivent un nombre substantiel de réponses. Cet indicateur est plus intuitif que l’entropie brute pour repérer des échelles de réponse sous-utilisées.

Part des options disponibles qui ont reçu au moins une réponse :

\[\text{OUR} = \frac{|\{i : c_i > 0\}|}{k}\]

Un taux inférieur à 0,5 suggère que certaines options sont sans intérêt et pourraient être fusionnées ou supprimées.

Dispersion des réponses aux questions de type champ de saisie, curseur et intervalle ; une réponse d’intervalle est mesurée séparément à chacune de ses bornes (valeur la plus basse et valeur la plus haute). Pour les jeux de données pondérés (Silver), c’est la variance pondérée qui est utilisée :

\[\sigma^2_w = \frac{\sum_{i=1}^{n} w_i (x_i - \bar{x}_w)^2}{\sum_{i=1}^{n} w_i}\]

Une variance nulle signifie que tous les répondants ont donné la même réponse : c’est un signal fort d’une échelle mal calibrée ou d’un effet plafond ou plancher.

Le tableau par question de Balansor présente cette mesure sous forme d’écart-type (σ, la racine carrée de la variance), pour qu’elle se lise dans l’unité propre à la question : la dispersion d’une question sur la valeur d’un bien s’affiche 787K, et non comme une variance en dollars au carré. La variance brute reste disponible dans la réponse de l’API sous item_variance.

Proportion des répondants qui ont sauté la question :

\[\text{NRR} = \frac{n_{\text{missing}}}{n_{\text{total}}}\]
Taux de non-réponse Interprétation
< 5 % Normal
5–10 % À surveiller : peut révéler une question sensible ou confuse
10–20 % Examinez la formulation, la place ou le caractère sensible de la question
> 20 % Reformulez entièrement la question

Une hausse des taux de non-réponse vers la fin de l’enquête traduit généralement la lassitude des répondants.

Pour les groupes de questions et les questions matricielles comportant plusieurs sous-items, et, pour le straightlining, pour les questions indépendantes qui partagent une même échelle de réponse.

Proportion des répondants qui donnent des réponses identiques à tous les items d’un ensemble (réponses en ligne droite, ou straightlining ; Krosnick, 1991). Un ensemble est soit :

  • les sous-items d’un même groupe de questions ou d’une même question matricielle, soit
  • trois questions indépendantes ou plus, avec le même contrôle et exactement les mêmes options de réponse (codes et libellés), lorsque ces options sont au moins trois. Ces ensembles sont listés sous Échelle commune, avec les identifiants de leurs questions. Un jeu de deux options comme Oui/Non est laissé de côté : des questions sans rapport le partagent constamment, et répondre « Non » à chacune d’elles ne dit rien de l’attention du répondant.

Les réponses ne sont considérées comme identiques qu’au sein d’un même ensemble : choisir l’option 1 à « service » et l’option 1 à « motif du départ » n’est pas du straightlining.

\[S = \frac{n_{\text{straightliners}}}{n_{\text{respondents}}}\]
Straightlining Interprétation
< 5 % Normal : aucune action nécessaire
5–15 % À examiner : peut révéler une conception de question confuse
> 15 % Problème structurel : reconcevez la matrice ou ajoutez des questions de contrôle de l’attention

Mesure si les sous-items d’un groupe mesurent le même construit sous-jacent (Cronbach, 1951). Nécessite au moins 3 sous-items :

\[\alpha = \frac{k}{k-1} \left(1 - \frac{\sum_{i=1}^{k} \sigma^2_i}{\sigma^2_{\text{total}}}\right)\]

Où \(k\) est le nombre de sous-items, \(\sigma^2_i\) la variance du sous-item \(i\) et \(\sigma^2_{\text{total}}\) la variance du score total.

\(\alpha\) Interprétation
> 0,8 Bonne cohérence interne
0,6–0,8 Acceptable
< 0,6 Faible : les sous-items ne mesurent peut-être pas le même construit
Indicateur Formule Seuil d’alerte
Entropie normalisée moyenne Moyenne de \(H_{\text{norm}}\) sur les questions catégorielles < 0,3
Indice de biais d’acquiescement Proportion de réponses « d’accord » sur les items de type Likert > 0,6
Taux global de non-réponse Taux moyen de questions sautées sur l’ensemble des questions > 0,15

Détecte une tendance systématique à approuver les affirmations quel que soit leur contenu. Calculé uniquement pour les échelles de Likert de type d’accord / pas d’accord :

\[\text{ABI} = \frac{\sum \text{agree responses}}{\sum \text{total Likert responses}}\]

Une valeur de 0,5 indique l’absence de biais (équilibre entre accord et désaccord). Des valeurs supérieures à 0,6 laissent penser que les répondants approuvent quel que soit le contenu de la question : envisagez d’ajouter des items formulés à l’envers.

Repère les répondants qui ont répondu anormalement vite, ce qui suggère des réponses inattentives ou automatisées (Kunz & Hadler, 2020) :

\[\text{threshold} = \frac{\text{median answering time}}{3}\]

Les répondants situés sous ce seuil sont signalés comme répondants trop rapides.

Le temps de réponse, pas le temps écoulé. Askalot chronomètre chaque question individuellement, du moment où elle est présentée à celui où la réponse revient, et additionne ces durées. Ce n’est pas l’intervalle réel entre la création et la soumission d’une enquête, et la différence compte : un répondant invité le lundi qui s’y met le jeudi couvre trois jours tout en répondant à un rythme parfaitement normal. Comme le seuil est une médiane sur l’ensemble de la cohorte, une poignée de répondants de ce genre suffirait à le relever, au point que ce seraient les personnes ayant simplement répondu d’une traite qui se retrouveraient signalées.

Le temps passé sur une question dont le répondant est ensuite revenu en arrière compte quand même (il a bien été passé), même s’il ne compte pas comme une tentative de réponse.

Agrégation de plusieurs signaux (règle du baseball)

Section intitulée « Agrégation de plusieurs signaux (règle du baseball) »

Aucun contrôle de qualité ne devrait servir seul à exclure des répondants. La règle du baseball (CloudResearch, 2024) agrège plusieurs signaux de qualité indépendants par répondant et ne recommande l’exclusion que lorsque 3 signaux ou plus se cumulent :

Signal Déclencheur
Répondant trop rapide Temps de réponse inférieur à 1/3 de la médiane
Straightliner Réponses identiques à tous les items d’un ensemble de straightlining (un groupe de questions, ou trois questions ou plus partageant une même échelle)
Non-réponse élevée Plus de 30 % des questions sautées

Cette approche multi-indicateurs réduit les faux positifs : un répondant rapide qui répond néanmoins de façon réfléchie n’est pas pénalisé.


Observation Cause possible Action
Entropie faible (< 30 %) sur une question Effet plafond ou plancher, ou options mal équilibrées Revoyez la formulation des options ; envisagez de scinder la catégorie dominante
Non-réponse élevée (> 15 %) sur une question Question confuse ou sensible Simplifiez la formulation ou indiquez clairement que la réponse est facultative
Straightlining élevé (> 15 %) dans un groupe Réponses inattentives ou sous-items peu différenciés Ajoutez des questions de contrôle de l’attention ; variez les ancrages de l’échelle ; raccourcissez la batterie
Alpha de Cronbach faible (< 0,5) Les sous-items ne mesurent pas le même construit Revoyez le choix des items ; envisagez de retirer les items faibles
Acquiescement élevé (> 60 %) Biais d’acquiescement systématique Ajoutez des items formulés à l’envers ; variez le sens de l’échelle
Utilisation des options faible (< 50 %) Les options inutilisées sont sans intérêt Fusionnez ou supprimez les options rarement choisies
RMSE élevée (> 0,05) Biais d’échantillonnage systématique Ajustez les quotas, diversifiez les canaux de recrutement
Effet de plan important (> 2,0) Ajustements de pondération extrêmes Améliorez l’équilibre de l’échantillon avant de vous reposer sur la pondération
Répondants trop rapides signalés (> 5 % de la cohorte chronométrée) Réponses inattentives ou motivées par l’incitation Revoyez la structure des incitations ; ajoutez des questions de contrôle de l’attention
Répondants cumulant plusieurs signaux Plusieurs problèmes de qualité simultanés Excluez-les de l’analyse ; documentez les critères d’exclusion

La représentativité de l’échantillon et la qualité des réponses sont des dimensions indépendantes. Un jeu de données peut présenter une excellente représentativité mais une faible qualité des réponses, ou l’inverse.

Représentativité Qualité des réponses Évaluation
Bonne Bonne Les données se prêtent à l’analyse
Bonne Faible L’échantillon correspond aux cibles mais les réponses sont peu fiables : examinez les problèmes de mesure
Faible Bonne Les réponses sont sincères mais l’échantillon est biaisé : appliquez une pondération ou ajustez le recrutement
Faible Faible Problèmes à la fois structurels et de mesure : agissez sur le recrutement et sur la conception du questionnaire

Le cadre d’analyse de la qualité s’appuie sur une méthodologie de recherche par enquête reconnue :

Cadre Application
Erreur d’enquête totale (Groves et al., 2009) Organise les indicateurs par source d’erreur : couverture, échantillonnage, non-réponse, mesure
Normes de l’AAPOR Calcul des taux de réponse, codes de statut, compte rendu de la qualité
Kish (1965) Effets de plan, taille effective de l’échantillon dans les plans complexes
Krosnick (1991) Théorie du satisficing : straightlining et acquiescement comme indicateurs de qualité des réponses
Shannon (1948) L’entropie de l’information comme mesure de la diversité des réponses
Cronbach (1951) Fiabilité par cohérence interne des échelles à plusieurs items
Hill (1973) Nombre effectif d’espèces (de réponses) : les nombres de Hill pour mesurer la diversité
Kalton & Flores-Cervantes (2003) Méthodes de pondération : calage sur marges (raking), calage généralisé, écrêtement des poids
Kunz & Hadler (2020) Paradonnées web : analyse des temps de réponse, seuils de détection des répondants trop rapides
CloudResearch (2024) Agrégation de plusieurs signaux de qualité : règle du baseball pour l’exclusion des répondants