Analyse des résultats assistée par l'IA
L’Analyste IA de Balansor évalue une campagne terminée sous deux angles, puis les réunit en un verdict unique :
- La qualité statistique des données — la représentativité de l’échantillon (l’échantillon correspond-il à la population cible ?) et la qualité des réponses (les questions produisent-elles des réponses informatives et variées ?).
- La capacité à répondre aux objectifs de recherche — les données collectées répondent-elles réellement aux questions de recherche, aux indicateurs clés (KPI) et aux critères de réussite consignés dans l’article de recherche du projet ? Cette étape boucle la chaîne objectif → KPI → question établie lors de la conception du questionnaire : chaque objectif de recherche déclare un KPI et sa méthode de mesure, et l’Analyste vérifie si les données collectées pour chacun suffisent à conclure.
L’Analyste délègue le premier angle à un sous-agent analyste qualité et le second à un sous-agent évaluateur de recherche, puis synthétise les deux dans un rapport structuré assorti de recommandations concrètes.
Vue d’ensemble
Section intitulée « Vue d’ensemble »Après avoir collecté les réponses, les chercheurs doivent répondre à deux questions fondamentales avant de se fier à leurs données :
- L’échantillon est-il représentatif ? — Les caractéristiques démographiques des répondants correspondent-elles à la population cible définie dans la stratégie d’échantillonnage ?
- Les réponses sont-elles fiables ? — Les schémas de réponse traduisent-ils un engagement réel, ou présentent-ils des signes de satisficing (effort minimal), d’inattention ou de biais ?
Balansor traite ces deux questions au moyen d’indicateurs calculés et d’un agent analyste IA qui interprète les résultats dans leur contexte méthodologique.
Indicateurs de qualité
Section intitulée « Indicateurs de qualité »La plateforme calcule des indicateurs de qualité selon deux dimensions, fondés sur la méthodologie d’enquête établie (Groves, Kish, Krosnick, Shannon, Cronbach) :
| Dimension | Principaux indicateurs |
|---|---|
| Représentativité de l’échantillon | RMSE, MAE, khi-deux, écart maximal, score de qualité composite |
| Diagnostics de pondération | Effet de plan (DEFF), taille d’échantillon effective, CV des poids, taux de complétion |
| Qualité des réponses | Entropie normalisée, score de straightlining (réponses en ligne droite), alpha de Cronbach, biais d’acquiescement, détection des répondants trop rapides (speeders), agrégation de plusieurs signaux |
Consultez la Référence des indicateurs de qualité pour les définitions complètes, les formules mathématiques, les seuils d’interprétation et les actions recommandées.
L’agent Analyste IA
Section intitulée « L’agent Analyste IA »L’Analyste IA interprète les indicateurs de qualité dans leur contexte méthodologique et confronte les résultats à l’article de recherche, pour produire un rapport structuré. Il s’exécute comme tâche d’arrière-plan dans Balansor, sur le framework d’agents askalot_ai : l’analyste principal orchestre un sous-agent analyste qualité (qualité statistique des données) et un sous-agent évaluateur de recherche (capacité à répondre aux objectifs de recherche, via la chaîne de réponse aux objectifs, qui parcourt l’article en lecture seule), puis un agent de synthèse assemble leurs conclusions dans le rapport final.
Fonctionnement
Section intitulée « Fonctionnement »- Résolution des identifiants : l’agent récupère les identifiants du fournisseur d’IA dans les paramètres de l’utilisateur, la configuration de l’organisation ou les variables d’environnement (dans cet ordre de priorité)
- Pré-chargement des données : tous les indicateurs de qualité sont rassemblés en Python, par des appels directs au dépôt de données et aux fonctions d’analyse, avant le démarrage de l’agent ; les sous-agents interprètent ainsi des données prêtes au lieu de les récupérer à nouveau
- Analyse en plusieurs tours : l’analyste exécute le flux
analyze-qualityet délègue aux sous-agents analyste qualité et évaluateur de recherche ; l’exécution est bornée par une durée maximale (temps écoulé) plutôt que par un nombre fixe de tours, et s’appuie sur le streaming natif du fournisseur pour éviter les dépassements de délai - Suivi de la progression : Redis Streams assure le suivi de la progression d’un worker à l’autre, de façon fiable malgré les multiples processus de Gunicorn
- Génération du rapport : un agent de synthèse distinct réunit les conclusions des sous-agents dans un rapport Markdown structuré
Profil de l’agent
Section intitulée « Profil de l’agent »| Propriété | Valeur |
|---|---|
| Flux | analyze-quality |
| Sous-agents | Analyste qualité, évaluateur de recherche |
| Niveau de modèle | Élevé (Claude Opus) |
| Borne d’exécution | Durée maximale en temps écoulé (multi-tours — de la marge pour les deux délégations aux sous-agents et la synthèse) |
| Base de connaissances | Évaluation de la qualité des données, méthodologie de pondération, indicateurs de qualité des réponses, capacité à répondre aux objectifs de recherche |
Les instructions de l’analyste intègrent l’expertise méthodologique issue des normes de l’AAPOR, de Kish (1965), Groves et al. (2009), Kalton & Flores-Cervantes (2003), Krosnick (1991) et des lignes directrices d’ESOMAR — notamment les formules, les seuils et les grilles de décision précis permettant d’interpréter les effets de plan, les scores de straightlining, les signalements de répondants trop rapides et l’agrégation de plusieurs signaux.
Structure du rapport
Section intitulée « Structure du rapport »L’analyste produit un rapport en cinq sections :
1. Synthèse 2 à 3 phrases : évaluation globale de la qualité, adéquation à l’objectif et principale recommandation.
2. Représentativité de l’échantillon
- Score de qualité global et son interprétation
- Valeurs de RMSE et de MAE, replacées dans leur contexte
- Analyse par facteur, indiquant quelles caractéristiques démographiques correspondent aux cibles et lesquelles s’en écartent
- Des chiffres précis : « La tranche 18–24 ans est surreprésentée de 8 points (32 % observés contre 24 % visés) »
- Références : chaque cible de calage que vous avez réglée sur Référence uniquement (un chiffre extérieur, comme un résultat électoral ou la part d’une réponse dans une enquête nationale) fait l’objet d’un constat à part, avec son écart sur l’échantillon non pondéré et sur l’échantillon pondéré, même lorsque le lot n’a pas de stratégie actuelle
3. Évaluation de la pondération (si un jeu de données Silver existe)
- Récupération obtenue par le calage — la part de l’erreur sur les moyennes pondérées supprimée par la pondération, en unités d’erreur
- Détail de la récupération par facteur, dans les mêmes unités
- Diagnostics de pondération : effet de plan (DEFF), taille d’échantillon effective (ESS), CV des poids et interprétation du rapport des poids
- Signalement des facteurs qui se sont dégradés après pondération
- Résultat du raking pour chaque cible de calage calée, utilisé uniquement pour expliquer les poids : il montre à quel point le calage s’est approché de son propre objectif et n’est jamais présenté comme une mesure de la qualité de l’échantillon
- Appréciation de l’efficacité de la pondération, ou de la nécessité de changements structurels
4. Qualité des réponses
- Détection des répondants trop rapides : nombre de répondants signalés, pourcentage de l’échantillon, durée médiane de réponse
- Straightlining : groupes aux scores élevés (> 0,05)
- Non-réponse partielle : questions dont le taux de valeurs manquantes dépasse 5 %
- Indice de biais d’acquiescement (si des échelles de Likert sont présentes)
- Alpha de Cronbach pour la fiabilité des groupes
- Questions à faible entropie, avec leur interprétation
- Répondants signalés à plusieurs titres (règle du baseball) — recommandation d’exclusion le cas échéant
5. Principaux constats 3 à 5 constats précis, fondés sur les données. Chacun s’appuie sur les chiffres réels des indicateurs de qualité.
6. Recommandations 2 à 4 recommandations concrètes et hiérarchisées. Chacune indique ce qu’il faut changer, pourquoi (en lien avec un constat précis) et l’effet attendu.
Ancrage dans la méthodologie d’enquête
Section intitulée « Ancrage dans la méthodologie d’enquête »Lorsque l’Analyste aborde l’erreur d’enquête totale (TSE), le biais de non-réponse, la convergence du calage, les effets de plan ou les cadres d’analyse de la qualité des réponses, il appuie son propos sur la littérature évaluée par les pairs : Groves et al. pour l’erreur d’enquête totale, Bethlehem pour la non-réponse, Heeringa pour la pondération et le DEFF, Schouten pour les plans d’enquête adaptatifs, Krosnick pour le satisficing. Les citations mentionnent l’article et son année, afin que le chercheur puisse vérifier directement l’affirmation. Voir Vue d’ensemble des fonctions assistées par l’IA → Ancrage dans une méthodologie évaluée par les pairs.
Utiliser l’analyse de qualité dans Balansor
Section intitulée « Utiliser l’analyse de qualité dans Balansor »Consulter les indicateurs de qualité
Section intitulée « Consulter les indicateurs de qualité »La qualité se consulte sur la page Vue d’ensemble du lot : cliquez sur le titre d’un lot dans le tableau du pipeline. La page présente le récit de représentativité, qui suit un même échantillon de l’intention initiale jusqu’au livrable :
- Stratégie → Vivier — l’échantillonnage a-t-il respecté le plan prévu ? Une mesure par vivier, rapportée à la stratégie qui l’a généré
- Stratégie → Réel — de combien l’échantillon obtenu s’écartait-il avant pondération ? Mesure rapportée à la stratégie actuelle du lot, avec un détail par campagne. Indique aucune stratégie tant qu’aucune n’est attribuée
- Stratégie → Pondéré — la pondération a-t-elle rétabli le plan ? Mesure rapportée à la même stratégie, avec le chiffre de récupération et l’effet de plan qu’elle a coûté
- Vivier → Réel — quelle a été la part du terrain lui-même ? Mesure rapportée au vivier : elle répond donc à une autre question que les trois précédentes
- Qualité des réponses — diversité des réponses, straightlining, cohérence
À côté, la carte Base d’analyse indique le seuil de complétude, et le bloc de l’ensemble exclu décrit les répondants écartés par ce seuil par rapport à ceux qui ont été conservés. Les mesures de représentativité sont détaillées par facteur, avec les distributions observées et cibles. Si le lot n’a pas de stratégie actuelle, l’en-tête de la page propose un sélecteur de stratégie pour vous permettre d’en attribuer une.
Consultez Analyse des données : contrôles qualité pour la présentation complète, y compris les deux bases.
Section Qualité des réponses
Section intitulée « Section Qualité des réponses »
La section Qualité des réponses d’un lot de démonstration : les quatre cartes de synthèse au-dessus du tableau des indicateurs par question.
Elle affiche quatre cartes de synthèse agrégées :
| Carte | Indicateur | Ce qu’elle montre |
|---|---|---|
| Diversité des réponses | Entropie normalisée moyenne | La diversité moyenne des réponses sur l’ensemble des questions catégorielles |
| Biais d’acquiescement | Indice de biais | La tendance à l’acquiescement dans les échelles de Likert ; N/D lorsque le questionnaire ne comporte aucun item de Likert |
| Taux de réponse | Part moyenne de réponses | La part moyenne des répondants ayant répondu à chaque question |
| Questions analysées | Nombre de questions | Le nombre de questions analysées, par type (catégorielle, numérique, texte) |
Sous la synthèse : un tableau des indicateurs par question, un panneau de détection du straightlining (pour les groupes), un panneau de cohérence interne (alpha de Cronbach pour les groupes d’au moins 3 sous-items), les résultats de la détection des répondants trop rapides et l’agrégation de plusieurs signaux.
Lancer l’analyse IA
Section intitulée « Lancer l’analyse IA »- Ouvrez la page Vue d’ensemble du lot (cliquez sur son titre dans le tableau du pipeline), puis lancez l’analyse IA depuis le panneau d’analyse IA
- L’agent analyste démarre en arrière-plan, et sa progression s’affiche en temps réel
- Une fois l’analyse terminée, le rapport structuré apparaît, avec une interprétation fondée sur la méthodologie
L’analyse lit l’intégralité du récit de représentativité du lot — chaque mesure, l’ensemble exclu, le chiffre de récupération et l’effet de plan — de sorte que le rapport interprète exactement ce que vous voyez sur la page. Elle requiert un jeu de données Silver dérivé (le rapport est enregistré sur la ligne Silver) ; une stratégie actuelle n’est pas nécessaire, car le récit comporte des états aucune stratégie explicites, que l’analyste lit tels quels au lieu de les contourner dans sa notation.
L’analyse IA requiert :
- Une clé d’API de fournisseur d’IA (configurée dans le profil utilisateur, les paramètres de l’organisation ou l’environnement)
- Un point de terminaison MCP Portor (pour accéder aux outils de qualité et au contexte de la campagne)
- Redis (pour le suivi de la progression entre workers)
Page de détail d’un jeu de données
Section intitulée « Page de détail d’un jeu de données »La page de détail de chaque jeu de données indique le lot auquel il appartient et renvoie vers la page Vue d’ensemble de ce lot, où se trouvent le récit de représentativité complet et l’analyse IA.
Interpréter les résultats
Section intitulée « Interpréter les résultats »Pour des conseils d’interprétation détaillés — schémas courants, actions recommandées et matrice de qualité à deux dimensions —, consultez la Référence des indicateurs de qualité : interpréter les résultats.
Outils MCP
Section intitulée « Outils MCP »Les outils d’analyse de qualité sont accessibles via l’interface MCP, pour un accès programmatique ou assisté par l’IA :
| Outil | Rôle |
|---|---|
get_bundle_quality |
Le récit de représentativité du lot : sélection, terrain et pondération (tous rapportés à la stratégie actuelle), l’écart dû au terrain rapporté au vivier, la qualité des réponses et ce que le seuil de complétude a exclu |
compare_bundle_quality |
Bronze et Silver comparés à la stratégie actuelle du lot, avec le chiffre de récupération — la part de l’écart au plan que la pondération a comblée |
Consultez la Référence des outils de lot pour la documentation complète des paramètres.
Documentation associée
Section intitulée « Documentation associée »- Référence des indicateurs de qualité — Définitions des indicateurs, formules, seuils d’interprétation
- Guide d’analyse des données — Pipeline Bronze/Silver/Gold, pondération, export
- Gestion des campagnes — Stratégies d’échantillonnage et viviers de répondants
- Génération de réponses par agents — Données synthétiques pour tester le pipeline
- Outils MCP de lot — Accès programmatique au récit de qualité du lot