Référence des indicateurs de qualité
Askalot évalue la qualité des données d’enquête selon deux dimensions complémentaires, fondées sur le cadre de l’erreur d’enquête totale (TSE) (Groves et al., 2009) :
- Représentativité de l’échantillon : la démographie des répondants correspond-elle à la population cible ? Quantifie l’erreur de couverture et l’erreur de non-réponse.
- Qualité des réponses : les questions de l’enquête produisent-elles des réponses informatives et variées ? Détecte l’erreur de mesure.
Les deux dimensions doivent être satisfaisantes pour que les données se prêtent à l’analyse.
Indicateurs de représentativité de l’échantillon
Section intitulée « Indicateurs de représentativité de l’échantillon »Ces indicateurs comparent la distribution démographique réelle des répondants aux distributions cibles définies dans une stratégie d’échantillonnage.
RMSE (racine de l’erreur quadratique moyenne)
Section intitulée « RMSE (racine de l’erreur quadratique moyenne) »Écart global entre les distributions de l’échantillon et les distributions cibles, sur l’ensemble des catégories démographiques.
Où \(a_i\) est la proportion réelle et \(t_i\) la proportion cible pour la catégorie \(i\).
En raison du terme au carré, la RMSE pénalise davantage un grand écart que de nombreux petits. Une seule catégorie démographique décalée de 10 points de pourcentage pèse plus lourd dans la RMSE que cinq catégories décalées chacune de 2 points.
| RMSE | Interprétation |
|---|---|
| < 0,02 | Excellent : l’échantillon correspond étroitement aux cibles |
| 0,02–0,05 | Acceptable : écarts mineurs, que la pondération devrait corriger |
| 0,05–0,10 | Préoccupant : écarts importants, recherchez-en les causes |
| > 0,10 | Problématique : défauts structurels d’échantillonnage, la pondération risque de ne pas suffire |
MAE (erreur absolue moyenne)
Section intitulée « MAE (erreur absolue moyenne) »Écart moyen par catégorie. Moins sensible que la RMSE aux catégories aberrantes.
Lorsque la MAE est nettement inférieure à la RMSE, une ou deux catégories sont fortement décalées tandis que les autres sont correctes. Lorsque MAE ≈ RMSE, les écarts sont répartis uniformément.
Test du khi-deux
Section intitulée « Test du khi-deux »Teste si les écarts observés par rapport aux cibles sont statistiquement significatifs ou relèvent du simple bruit d’échantillonnage.
Où \(O_i\) est l’effectif observé et \(E_i\) l’effectif attendu d’après les proportions cibles.
Écart maximal
Section intitulée « Écart maximal »Le plus grand écart, sur une seule catégorie, entre les proportions réelles et cibles. Identifie la catégorie démographique la plus problématique.
| Écart maximal | Interprétation |
|---|---|
| < 0,05 | Toutes les catégories sont dans une plage acceptable |
| 0,05–0,10 | Une catégorie modérément décalée, probablement corrigeable par pondération |
| > 0,10 | Lacune structurelle : au moins un groupe est nettement mal représenté |
Score de qualité composite
Section intitulée « Score de qualité composite »Le score de qualité global (de 0 à 1) est obtenu à partir de l’erreur composite par score = 1 / (1 + 5 × error), où l’erreur est la moyenne pondérée de la RMSE de chaque facteur (ou celle du facteur le plus défavorable en agrégation par maximum). Plus le score est élevé, mieux c’est. L’interface qualité de Balansor colore le score exactement selon ces deux seuils :
| Score | Appréciation | Interprétation |
|---|---|---|
| > 0,8 | Bon (vert) | L’échantillon représente correctement la population cible |
| 0,6–0,8 | Acceptable (jaune) | Certains facteurs s’écartent des cibles, une pondération est recommandée |
| < 0,6 | Faible (rouge) | Problèmes de représentativité importants : recherchez les causes profondes avant de vous fier aux estimations |
Diagnostics de pondération
Section intitulée « Diagnostics de pondération »Une fois que le calage (raking, ajustement proportionnel itératif) a produit un jeu de données Silver, ces indicateurs permettent de juger si la pondération a amélioré la représentativité sans introduire une variance excessive.
Effet de plan (DEFF)
Section intitulée « Effet de plan (DEFF) »Inflation de la variance due à une pondération inégale (Kish, 1965) :
Où \(\text{CV}_w\) est le coefficient de variation des poids.
| DEFF | Interprétation |
|---|---|
| < 1,5 | Impact minime sur la précision |
| 1,5–2,0 | Perte de précision modérée, acceptable pour la plupart des études |
| 2,0–3,0 | Importante : examinez la distribution des poids |
| > 3,0 | Sévère : la pondération compense des problèmes structurels de l’échantillon |
Taille effective de l’échantillon
Section intitulée « Taille effective de l’échantillon »La taille d’échantillon non pondéré équivalente, une fois l’effet de plan pris en compte :
| \(n_{\text{eff}} / n\) | Interprétation |
|---|---|
| > 0,80 | Perte d’efficacité minime due à la pondération |
| 0,50–0,80 | Perte modérée : certains groupes sont fortement pondérés |
| < 0,50 | Perte sévère : la pondération compense de manière trop agressive |
Repères de qualité des poids
Section intitulée « Repères de qualité des poids »| Indicateur | Bon | Acceptable | Problématique |
|---|---|---|---|
| CV des poids | < 0,5 | 0,5–1,0 | > 1,0 |
| Rapport poids max/min | < 4:1 | 4:1–6:1 | > 6:1 |
Taux d’achèvement
Section intitulée « Taux d’achèvement »Proportion des enquêtes d’une campagne qui sont complètes, parmi toutes les enquêtes créées pour elle, qu’elles aient fait l’objet d’une invitation ou non. Une enquête est complète lorsque le répondant a répondu à plus de 80 % des questions qui le concernaient, selon la même règle que celle de l’achèvement par mode. Un répondant qui a cliqué sur Terminer après quelques questions a une enquête clôturée, mais n’est pas compté comme complet. Cet indicateur donne une mesure globale de la réussite du terrain et du risque de biais de non-réponse.
Achèvement par mode
Section intitulée « Achèvement par mode »Le taux d’achèvement de la campagne divise par toutes les enquêtes créées, avec ou sans invitation, et ne permet donc pas de comparer les canaux : un répondant ne choisit la page web ou son assistant IA qu’au moment où il commence. L’achèvement par mode divise donc par les démarrages, c’est-à-dire les enquêtes dont la première question a été affichée, séparément pour chaque mode d’enquête (direct, ai_assisted, field_interview). Un écran de consentement n’est pas une question : un répondant qui a donné son consentement dans l’assistant IA sans aller plus loin ne compte pas comme un démarrage.
Chaque démarrage est classé selon les seuils par item de l’AAPOR, d’après la part des questions applicables auxquelles il a été répondu :
| Statut | Part de réponses |
|---|---|
| Complète | plus de 80 % |
| Partielle | de 50 % à 80 % |
| Abandon | moins de 50 % |
Les questions applicables sont celles que le répondant a atteintes, plus celles qui restent à venir sur son parcours et dont la condition d’affichage est vraie ou pas encore décidable d’après les réponses données. Une enquête terminée normalement est donc mesurée à l’aune de sa propre complétude, tandis qu’un abandon est mesuré par rapport à ce qui lui restait à parcourir. Les commentaires n’appellent aucune réponse et ne comptent jamais.
Le taux d’achèvement correspond aux démarrages complets divisés par l’ensemble des démarrages, présenté avec un intervalle de confiance de Wilson à 95 %. Un mode comptant moins de 30 démarrages affiche ses effectifs sans taux, car un taux calculé sur une poignée de cas se lit comme un résultat alors qu’il n’est que du bruit.
Indicateurs de qualité des réponses
Section intitulée « Indicateurs de qualité des réponses »Ces indicateurs évaluent les réponses elles-mêmes, indépendamment de la stratégie d’échantillonnage.
Indicateurs par question
Section intitulée « Indicateurs par question »Entropie normalisée (questions catégorielles)
Section intitulée « Entropie normalisée (questions catégorielles) »Mesure la diversité des réponses aux questions à boutons radio et à liste déroulante. Fondée sur l’entropie de Shannon (Shannon, 1948), normalisée sur une échelle de 0 à 1 :
Où \(p_i\) est la proportion de réponses choisissant l’option \(i\) et \(k\) le nombre d’options disponibles.
| \(H_{\text{norm}}\) | Interprétation |
|---|---|
| > 0,7 | Bonne diversité : les réponses se répartissent entre les options |
| 0,3–0,7 | Modérée : certaines options dominent |
| < 0,3 | Faible diversité : les réponses se concentrent sur quelques options (effet plafond ou plancher) |
Une valeur de 1,0 correspond à une distribution parfaitement uniforme. Une valeur proche de 0,0 signifie que presque tous les répondants ont choisi la même option.
Nombre effectif de réponses
Section intitulée « Nombre effectif de réponses »Le nombre de Hill d’ordre 1 (Hill, 1973) indique combien d’options pèsent réellement :
Si une question a 5 options mais que \(N_{\text{eff}} = 2.1\), seules 2 options environ reçoivent un nombre substantiel de réponses. Cet indicateur est plus intuitif que l’entropie brute pour repérer des échelles de réponse sous-utilisées.
Taux d’utilisation des options
Section intitulée « Taux d’utilisation des options »Part des options disponibles qui ont reçu au moins une réponse :
Un taux inférieur à 0,5 suggère que certaines options sont sans intérêt et pourraient être fusionnées ou supprimées.
Variance de l’item (questions numériques)
Section intitulée « Variance de l’item (questions numériques) »Dispersion des réponses aux questions de type champ de saisie, curseur et intervalle ; une réponse d’intervalle est mesurée séparément à chacune de ses bornes (valeur la plus basse et valeur la plus haute). Pour les jeux de données pondérés (Silver), c’est la variance pondérée qui est utilisée :
Une variance nulle signifie que tous les répondants ont donné la même réponse : c’est un signal fort d’une échelle mal calibrée ou d’un effet plafond ou plancher.
Le tableau par question de Balansor présente cette mesure sous forme d’écart-type (σ, la racine carrée de la variance), pour qu’elle se lise dans l’unité propre à la question : la dispersion d’une question sur la valeur d’un bien s’affiche 787K, et non comme une variance en dollars au carré. La variance brute reste disponible dans la réponse de l’API sous item_variance.
Taux de non-réponse à l’item
Section intitulée « Taux de non-réponse à l’item »Proportion des répondants qui ont sauté la question :
| Taux de non-réponse | Interprétation |
|---|---|
| < 5 % | Normal |
| 5–10 % | À surveiller : peut révéler une question sensible ou confuse |
| 10–20 % | Examinez la formulation, la place ou le caractère sensible de la question |
| > 20 % | Reformulez entièrement la question |
Une hausse des taux de non-réponse vers la fin de l’enquête traduit généralement la lassitude des répondants.
Indicateurs de groupe
Section intitulée « Indicateurs de groupe »Pour les groupes de questions et les questions matricielles comportant plusieurs sous-items, et, pour le straightlining, pour les questions indépendantes qui partagent une même échelle de réponse.
Score de straightlining
Section intitulée « Score de straightlining »Proportion des répondants qui donnent des réponses identiques à tous les items d’un ensemble (réponses en ligne droite, ou straightlining ; Krosnick, 1991). Un ensemble est soit :
- les sous-items d’un même groupe de questions ou d’une même question matricielle, soit
- trois questions indépendantes ou plus, avec le même contrôle et exactement les mêmes options de réponse (codes et libellés), lorsque ces options sont au moins trois. Ces ensembles sont listés sous Échelle commune, avec les identifiants de leurs questions. Un jeu de deux options comme Oui/Non est laissé de côté : des questions sans rapport le partagent constamment, et répondre « Non » à chacune d’elles ne dit rien de l’attention du répondant.
Les réponses ne sont considérées comme identiques qu’au sein d’un même ensemble : choisir l’option 1 à « service » et l’option 1 à « motif du départ » n’est pas du straightlining.
| Straightlining | Interprétation |
|---|---|
| < 5 % | Normal : aucune action nécessaire |
| 5–15 % | À examiner : peut révéler une conception de question confuse |
| > 15 % | Problème structurel : reconcevez la matrice ou ajoutez des questions de contrôle de l’attention |
Alpha de Cronbach (cohérence interne)
Section intitulée « Alpha de Cronbach (cohérence interne) »Mesure si les sous-items d’un groupe mesurent le même construit sous-jacent (Cronbach, 1951). Nécessite au moins 3 sous-items :
Où \(k\) est le nombre de sous-items, \(\sigma^2_i\) la variance du sous-item \(i\) et \(\sigma^2_{\text{total}}\) la variance du score total.
| \(\alpha\) | Interprétation |
|---|---|
| > 0,8 | Bonne cohérence interne |
| 0,6–0,8 | Acceptable |
| < 0,6 | Faible : les sous-items ne mesurent peut-être pas le même construit |
Agrégats au niveau du jeu de données
Section intitulée « Agrégats au niveau du jeu de données »| Indicateur | Formule | Seuil d’alerte |
|---|---|---|
| Entropie normalisée moyenne | Moyenne de \(H_{\text{norm}}\) sur les questions catégorielles | < 0,3 |
| Indice de biais d’acquiescement | Proportion de réponses « d’accord » sur les items de type Likert | > 0,6 |
| Taux global de non-réponse | Taux moyen de questions sautées sur l’ensemble des questions | > 0,15 |
Indice de biais d’acquiescement
Section intitulée « Indice de biais d’acquiescement »Détecte une tendance systématique à approuver les affirmations quel que soit leur contenu. Calculé uniquement pour les échelles de Likert de type d’accord / pas d’accord :
Une valeur de 0,5 indique l’absence de biais (équilibre entre accord et désaccord). Des valeurs supérieures à 0,6 laissent penser que les répondants approuvent quel que soit le contenu de la question : envisagez d’ajouter des items formulés à l’envers.
Détection des répondants trop rapides
Section intitulée « Détection des répondants trop rapides »Repère les répondants qui ont répondu anormalement vite, ce qui suggère des réponses inattentives ou automatisées (Kunz & Hadler, 2020) :
Les répondants situés sous ce seuil sont signalés comme répondants trop rapides.
Le temps de réponse, pas le temps écoulé. Askalot chronomètre chaque question individuellement, du moment où elle est présentée à celui où la réponse revient, et additionne ces durées. Ce n’est pas l’intervalle réel entre la création et la soumission d’une enquête, et la différence compte : un répondant invité le lundi qui s’y met le jeudi couvre trois jours tout en répondant à un rythme parfaitement normal. Comme le seuil est une médiane sur l’ensemble de la cohorte, une poignée de répondants de ce genre suffirait à le relever, au point que ce seraient les personnes ayant simplement répondu d’une traite qui se retrouveraient signalées.
Le temps passé sur une question dont le répondant est ensuite revenu en arrière compte quand même (il a bien été passé), même s’il ne compte pas comme une tentative de réponse.
Agrégation de plusieurs signaux (règle du baseball)
Section intitulée « Agrégation de plusieurs signaux (règle du baseball) »Aucun contrôle de qualité ne devrait servir seul à exclure des répondants. La règle du baseball (CloudResearch, 2024) agrège plusieurs signaux de qualité indépendants par répondant et ne recommande l’exclusion que lorsque 3 signaux ou plus se cumulent :
| Signal | Déclencheur |
|---|---|
| Répondant trop rapide | Temps de réponse inférieur à 1/3 de la médiane |
| Straightliner | Réponses identiques à tous les items d’un ensemble de straightlining (un groupe de questions, ou trois questions ou plus partageant une même échelle) |
| Non-réponse élevée | Plus de 30 % des questions sautées |
Cette approche multi-indicateurs réduit les faux positifs : un répondant rapide qui répond néanmoins de façon réfléchie n’est pas pénalisé.
Interpréter les résultats
Section intitulée « Interpréter les résultats »Situations courantes et actions
Section intitulée « Situations courantes et actions »| Observation | Cause possible | Action |
|---|---|---|
| Entropie faible (< 30 %) sur une question | Effet plafond ou plancher, ou options mal équilibrées | Revoyez la formulation des options ; envisagez de scinder la catégorie dominante |
| Non-réponse élevée (> 15 %) sur une question | Question confuse ou sensible | Simplifiez la formulation ou indiquez clairement que la réponse est facultative |
| Straightlining élevé (> 15 %) dans un groupe | Réponses inattentives ou sous-items peu différenciés | Ajoutez des questions de contrôle de l’attention ; variez les ancrages de l’échelle ; raccourcissez la batterie |
| Alpha de Cronbach faible (< 0,5) | Les sous-items ne mesurent pas le même construit | Revoyez le choix des items ; envisagez de retirer les items faibles |
| Acquiescement élevé (> 60 %) | Biais d’acquiescement systématique | Ajoutez des items formulés à l’envers ; variez le sens de l’échelle |
| Utilisation des options faible (< 50 %) | Les options inutilisées sont sans intérêt | Fusionnez ou supprimez les options rarement choisies |
| RMSE élevée (> 0,05) | Biais d’échantillonnage systématique | Ajustez les quotas, diversifiez les canaux de recrutement |
| Effet de plan important (> 2,0) | Ajustements de pondération extrêmes | Améliorez l’équilibre de l’échantillon avant de vous reposer sur la pondération |
| Répondants trop rapides signalés (> 5 % de la cohorte chronométrée) | Réponses inattentives ou motivées par l’incitation | Revoyez la structure des incitations ; ajoutez des questions de contrôle de l’attention |
| Répondants cumulant plusieurs signaux | Plusieurs problèmes de qualité simultanés | Excluez-les de l’analyse ; documentez les critères d’exclusion |
Deux dimensions, une seule vue d’ensemble
Section intitulée « Deux dimensions, une seule vue d’ensemble »La représentativité de l’échantillon et la qualité des réponses sont des dimensions indépendantes. Un jeu de données peut présenter une excellente représentativité mais une faible qualité des réponses, ou l’inverse.
| Représentativité | Qualité des réponses | Évaluation |
|---|---|---|
| Bonne | Bonne | Les données se prêtent à l’analyse |
| Bonne | Faible | L’échantillon correspond aux cibles mais les réponses sont peu fiables : examinez les problèmes de mesure |
| Faible | Bonne | Les réponses sont sincères mais l’échantillon est biaisé : appliquez une pondération ou ajustez le recrutement |
| Faible | Faible | Problèmes à la fois structurels et de mesure : agissez sur le recrutement et sur la conception du questionnaire |
Fondements méthodologiques
Section intitulée « Fondements méthodologiques »Le cadre d’analyse de la qualité s’appuie sur une méthodologie de recherche par enquête reconnue :
| Cadre | Application |
|---|---|
| Erreur d’enquête totale (Groves et al., 2009) | Organise les indicateurs par source d’erreur : couverture, échantillonnage, non-réponse, mesure |
| Normes de l’AAPOR | Calcul des taux de réponse, codes de statut, compte rendu de la qualité |
| Kish (1965) | Effets de plan, taille effective de l’échantillon dans les plans complexes |
| Krosnick (1991) | Théorie du satisficing : straightlining et acquiescement comme indicateurs de qualité des réponses |
| Shannon (1948) | L’entropie de l’information comme mesure de la diversité des réponses |
| Cronbach (1951) | Fiabilité par cohérence interne des échelles à plusieurs items |
| Hill (1973) | Nombre effectif d’espèces (de réponses) : les nombres de Hill pour mesurer la diversité |
| Kalton & Flores-Cervantes (2003) | Méthodes de pondération : calage sur marges (raking), calage généralisé, écrêtement des poids |
| Kunz & Hadler (2020) | Paradonnées web : analyse des temps de réponse, seuils de détection des répondants trop rapides |
| CloudResearch (2024) | Agrégation de plusieurs signaux de qualité : règle du baseball pour l’exclusion des répondants |
Documentation associée
Section intitulée « Documentation associée »- Guide d’analyse des données : pipeline Bronze/Silver/Gold, pondération, export
- Analyse des résultats assistée par l’IA : l’agent Analyste IA pour des rapports de qualité automatisés
- Outils MCP pour les jeux de données : accès par programmation aux indicateurs de qualité
- Gestion des campagnes : stratégies d’échantillonnage et viviers de répondants