Análisis de resultados asistido por IA
El Analista de IA de Balansor evalúa una campaña terminada en dos frentes y los combina en un único veredicto:
- Calidad estadística de los datos: representatividad de la muestra (¿se corresponde la muestra con la población objetivo?) y calidad de las respuestas (¿producen las preguntas respuestas informativas y variadas?).
- Capacidad de responder a los objetivos de la investigación: ¿responden realmente los datos recogidos a las preguntas de investigación, los KPI y los criterios de éxito registrados en el artículo de investigación del proyecto? Así se cierra la cadena objetivo → KPI → pregunta que se estableció al diseñar el cuestionario: cada objetivo de investigación declara un KPI y la forma de medirlo, y el Analista comprueba si los datos recogidos para cada uno bastan para extraer una conclusión.
El Analista delega el primer frente en un subagente analista de calidad y el segundo en un subagente evaluador de la investigación, y después reúne ambos en un informe estructurado con recomendaciones concretas.
Descripción general
Sección titulada «Descripción general»Tras recoger las respuestas de una encuesta, los investigadores tienen que responder a dos preguntas fundamentales antes de fiarse de sus datos:
- ¿Es representativa la muestra? ¿Se corresponden los datos demográficos de los encuestados con la población objetivo definida en la estrategia de muestreo?
- ¿Son fiables las respuestas? ¿Reflejan los patrones de respuesta una implicación genuina, o hay indicios de satisficing (respuesta de mínimo esfuerzo), falta de atención o sesgo?
Balansor aborda ambas preguntas con métricas calculadas y con un agente analista de IA que interpreta los resultados en su contexto metodológico.
Métricas de calidad
Sección titulada «Métricas de calidad»La plataforma calcula métricas de calidad en dos dimensiones, basadas en la metodología de encuestas consolidada (Groves, Kish, Krosnick, Shannon, Cronbach):
| Dimensión | Métricas principales |
|---|---|
| Representatividad de la muestra | RMSE, MAE, chi cuadrado, desviación máxima, puntuación de calidad compuesta |
| Diagnóstico de la ponderación | Efecto de diseño (DEFF), tamaño muestral efectivo, CV de los pesos, tasa de finalización |
| Calidad de las respuestas | Entropía normalizada, puntuación de respuestas en línea recta, alfa de Cronbach, sesgo de aquiescencia, detección de encuestados demasiado rápidos (speeders), agregación de alertas múltiples |
Consulte la Referencia de métricas de calidad para ver las definiciones completas, las fórmulas matemáticas, los umbrales de interpretación y las acciones recomendadas.
El agente Analista de IA
Sección titulada «El agente Analista de IA»El Analista de IA interpreta las métricas de calidad en su contexto metodológico y contrasta los resultados con el artículo de investigación para elaborar un informe estructurado. Se ejecuta como tarea en segundo plano en Balansor, sobre el marco de agentes askalot_ai: el analista principal coordina un subagente analista de calidad (calidad estadística de los datos) y un subagente evaluador de la investigación (capacidad de responder a los objetivos de la investigación, mediante la cadena de respuesta a los objetivos, que recorre el artículo de investigación en modo de solo lectura), y después un sintetizador une sus conclusiones en el informe final.
Cómo funciona
Sección titulada «Cómo funciona»- Resolución de credenciales: el agente obtiene las credenciales del proveedor de IA de la configuración del usuario, de la configuración de la organización o de variables de entorno (por ese orden de prioridad)
- Obtención previa de datos: todas las métricas de calidad se reúnen en Python, mediante llamadas directas al repositorio y al análisis, antes de que arranque el agente, de modo que los subagentes interpretan datos ya listos en lugar de volver a obtenerlos
- Análisis en varios turnos: el analista ejecuta el flujo
analyze-qualityy delega en los subagentes analista de calidad y evaluador de la investigación; la ejecución está acotada por un tiempo límite real, no por un número fijo de turnos, y usa el streaming nativo del proveedor para evitar que se agote el tiempo de espera - Seguimiento del progreso: Redis Streams permite informar del progreso entre workers, de forma segura aunque Gunicorn ejecute varios procesos worker
- Generación del informe: un agente sintetizador independiente reúne las conclusiones de los subagentes en un informe Markdown estructurado
Perfil del agente
Sección titulada «Perfil del agente»| Propiedad | Valor |
|---|---|
| Flujo | analyze-quality |
| Subagentes | Analista de calidad, evaluador de la investigación |
| Nivel del modelo | Alto (Claude Opus) |
| Límite de ejecución | Tiempo límite real (varios turnos, con margen para las dos delegaciones en subagentes más la síntesis) |
| Base de conocimiento | Evaluación de la calidad de los datos, metodología de ponderación, métricas de calidad de las respuestas, capacidad de responder a los objetivos de la investigación |
La skill del analista recoge conocimiento experto en metodología de encuestas procedente de las normas de AAPOR, Kish (1965), Groves et al. (2009), Kalton y Flores-Cervantes (2003), Krosnick (1991) y las directrices de ESOMAR, con fórmulas, umbrales y marcos de decisión concretos para interpretar los efectos de diseño, las puntuaciones de respuestas en línea recta, las alertas de encuestados demasiado rápidos y la agregación de alertas múltiples.
Estructura del informe
Sección titulada «Estructura del informe»El analista elabora un informe con cinco secciones:
1. Resumen ejecutivo Dos o tres frases: valoración global de la calidad, idoneidad para el fin previsto y la recomendación más importante.
2. Representatividad de la muestra
- Puntuación de calidad global con su interpretación
- Valores de RMSE y MAE en contexto
- Análisis por factor que indica qué variables demográficas coinciden con los objetivos y cuáles se desvían
- Cifras concretas: «El grupo de 18 a 24 años está sobrerrepresentado en 8 pp (32 % real frente a 24 % objetivo)»
- Referencias: cada objetivo de calibración que haya marcado como Solo de referencia (una cifra externa, como un resultado electoral o el porcentaje de una respuesta en una encuesta nacional) se presenta como una conclusión propia, con su desviación en la muestra sin ponderar y en la ponderada, incluso cuando el paquete no tiene estrategia vigente
3. Evaluación de la ponderación (si existe un conjunto de datos Plata)
- Recuperación lograda por el raking (calibración por rastrillado): cuánto error de la media ponderada eliminó la ponderación, en unidades de error
- Desglose de la recuperación por factor, en las mismas unidades
- Diagnóstico de la ponderación: interpretación del efecto de diseño (DEFF), del tamaño muestral efectivo (ESS), del CV de los pesos y de la razón entre pesos
- Alertas sobre los factores que empeoraron tras la ponderación
- Alcanzado por el raking para cada objetivo de calibración con raking, utilizado solo para explicar los pesos: muestra cuánto se acercó el raking a su propia meta y nunca se presenta como calidad de la muestra
- Valoración de si la ponderación fue eficaz o si hacen falta cambios estructurales
4. Calidad de las respuestas
- Detección de encuestados demasiado rápidos: número de casos señalados, porcentaje de la muestra, mediana del tiempo de respuesta
- Respuestas en línea recta: grupos con puntuaciones altas (> 0,05)
- Falta de respuesta por ítem: preguntas que superan el 5 % de valores ausentes
- Índice de sesgo de aquiescencia (si hay escalas Likert)
- Alfa de Cronbach para la fiabilidad de los grupos
- Preguntas de baja entropía, con su interpretación
- Encuestados con alertas múltiples (regla del béisbol), con recomendación de exclusión si procede
5. Conclusiones principales De 3 a 5 conclusiones concretas y basadas en los datos. Cada una remite a cifras reales de las métricas de calidad.
6. Recomendaciones De 2 a 4 recomendaciones concretas y priorizadas. Cada una indica qué cambiar, por qué (vinculado a una conclusión concreta) y el efecto esperado.
Fundamentación en la metodología de encuestas
Sección titulada «Fundamentación en la metodología de encuestas»Cuando el Analista trata el error total de encuesta (TSE), el sesgo por falta de respuesta, la convergencia del raking, los efectos de diseño o los marcos de calidad de las respuestas, fundamenta su exposición en la literatura revisada por pares: Groves et al. sobre el error total de encuesta, Bethlehem sobre la falta de respuesta, Heeringa sobre la ponderación y el DEFF, Schouten sobre el diseño adaptativo de encuestas y Krosnick sobre el satisficing. Las citas incluyen el artículo y el año para que el investigador pueda verificar la afirmación directamente. Consulte Resumen de las funciones asistidas por IA → Fundamentación en metodología revisada por pares.
Uso del análisis de calidad en Balansor
Sección titulada «Uso del análisis de calidad en Balansor»Consulta de las métricas de calidad
Sección titulada «Consulta de las métricas de calidad»La calidad se encuentra en la página Vista general del paquete: haga clic en el título de un paquete en el tablero del proceso. La página presenta el resumen de representatividad: una misma muestra seguida desde la intención del diseño hasta el resultado final:
- Estrategia → Grupo: ¿logró el muestreo lo previsto en el diseño? Una lectura por grupo, frente a la estrategia que lo generó
- Estrategia → Real: ¿cuánto se desviaba la muestra obtenida antes de ponderar? Frente a la estrategia vigente del paquete, con un desglose por campaña. Indica sin estrategia hasta que se asigna una
- Estrategia → Ponderado: ¿recuperó la ponderación el diseño? Frente a la misma estrategia, junto con la cifra de recuperación y el efecto de diseño que ha costado
- Grupo → Real: ¿qué aportó el propio trabajo de campo? Tiene como referencia el grupo, así que responde a una pregunta distinta de las tres anteriores
- Calidad de las respuestas: diversidad de las respuestas, respuestas en línea recta, consistencia
Junto a ellas, la tarjeta Base de análisis muestra el umbral de completitud, y el bloque del conjunto excluido describe a quiénes eliminó ese umbral en comparación con quiénes conservó. Las medidas de representatividad muestran desgloses por factor con las distribuciones reales frente a las objetivo. Si el paquete no tiene estrategia vigente, la cabecera de la página ofrece un selector de estrategia para que pueda asignar una.
Consulte Análisis de datos: comprobaciones de calidad para ver el recorrido completo, incluidas las dos bases.
Sección Calidad de las respuestas
Sección titulada «Sección Calidad de las respuestas»
La sección Calidad de las respuestas de un paquete Demo: las cuatro tarjetas de resumen encima de la tabla de métricas por pregunta.
Muestra cuatro tarjetas de resumen agregadas:
| Tarjeta | Métrica | Qué muestra |
|---|---|---|
| Diversidad de respuestas | Entropía normalizada media | La diversidad media de las respuestas en las preguntas categóricas |
| Sesgo de aquiescencia | Índice de sesgo | La tendencia a mostrarse de acuerdo en las escalas Likert; N/A cuando el cuestionario no tiene ítems Likert |
| Tasa de respuesta | Proporción media de respuesta | La proporción media de encuestados que responden a cada pregunta |
| Preguntas analizadas | Número de preguntas | El número de preguntas analizadas, por tipo (categóricas, numéricas, de texto) |
Debajo del resumen: una tabla de métricas por pregunta, un panel de detección de respuestas en línea recta (para los grupos), un panel de consistencia interna (alfa de Cronbach para los grupos con 3 o más subítems), los resultados de la detección de encuestados demasiado rápidos y la agregación de encuestados con alertas múltiples.
Ejecución del análisis de IA
Sección titulada «Ejecución del análisis de IA»- Abra la página Vista general del paquete (haga clic en su título en el tablero del proceso) y, en el panel de análisis de IA, inicie el análisis de IA
- El agente analista arranca en segundo plano y el progreso se actualiza en tiempo real
- Al terminar, aparece el informe estructurado con una interpretación fundamentada en la metodología
El análisis lee el resumen de representatividad completo del paquete (cada medida, el conjunto excluido, la cifra de recuperación y el efecto de diseño), de modo que el informe interpreta exactamente lo que usted ve en la página. Requiere un conjunto de datos Plata derivado (el informe se guarda en el registro Plata); no hace falta una estrategia vigente, ya que el resumen incluye estados sin estrategia explícitos que el analista lee tal cual, en lugar de puntuar sorteándolos.
El análisis de IA requiere:
- Una clave de API de un proveedor de IA (configurada en el perfil del usuario, en la configuración de la organización o en el entorno)
- Un punto de conexión MCP de Portor (para acceder a las herramientas de calidad y al contexto de la campaña)
- Redis (para el seguimiento del progreso entre workers)
Página de detalle del conjunto de datos
Sección titulada «Página de detalle del conjunto de datos»La página de detalle de cada conjunto de datos indica el paquete al que pertenece y enlaza con la página Vista general de ese paquete, donde se encuentran el resumen de representatividad completo y el análisis de IA.
Interpretación de los resultados
Sección titulada «Interpretación de los resultados»Para obtener orientación detallada sobre la interpretación (patrones habituales, acciones recomendadas y la matriz de calidad bidimensional), consulte la Referencia de métricas de calidad: interpretación de los resultados.
Herramientas MCP
Sección titulada «Herramientas MCP»Las herramientas de análisis de calidad están disponibles a través de la interfaz MCP para un acceso programático o asistido por IA:
| Herramienta | Finalidad |
|---|---|
get_bundle_quality |
El resumen de representatividad del paquete: selección, trabajo de campo y ponderación (todo frente a la estrategia vigente), el desplazamiento del trabajo de campo referido al grupo, la calidad de las respuestas y lo que excluyó el umbral de completitud |
compare_bundle_quality |
Bronce frente a Plata con respecto a la estrategia vigente del paquete, con la cifra de recuperación: cuánto redujo la ponderación la distancia respecto al diseño |
Consulte la Referencia de herramientas de paquetes para ver la documentación completa de los parámetros.
Documentación relacionada
Sección titulada «Documentación relacionada»- Referencia de métricas de calidad: definiciones de las métricas, fórmulas y umbrales de interpretación
- Guía de análisis de datos: el proceso Bronce → Plata → Oro, la ponderación y la exportación
- Gestión de campañas: estrategias de muestreo y grupos de encuestados
- Generación agéntica de respuestas: datos sintéticos para probar el proceso de datos
- Herramientas MCP de paquetes: acceso programático al resumen de calidad del paquete