Referencia de métricas de calidad
Askalot evalúa la calidad de los datos de encuesta en dos dimensiones complementarias, basadas en el marco del error total de encuesta (TSE) (Groves et al., 2009):
- Representatividad de la muestra: ¿coincide la demografía de los encuestados con la población objetivo? Cuantifica el error de cobertura y el de no respuesta.
- Calidad de las respuestas: ¿producen las preguntas de la encuesta respuestas informativas y diversas? Detecta el error de medición.
Ambas dimensiones deben ser aceptables para que los datos sean aptos para el análisis.
Métricas de representatividad de la muestra
Sección titulada «Métricas de representatividad de la muestra»Estas métricas comparan la distribución demográfica real de los encuestados con las distribuciones objetivo definidas en una estrategia de muestreo.
RMSE (raíz del error cuadrático medio)
Sección titulada «RMSE (raíz del error cuadrático medio)»Desviación global entre las distribuciones de la muestra y las objetivo en todas las categorías demográficas.
Donde \(a_i\) es la proporción real y \(t_i\) es la proporción objetivo de la categoría \(i\).
Por el término al cuadrado, el RMSE penaliza más las desviaciones grandes que muchas desviaciones pequeñas. Una sola categoría demográfica que se aleja 10 puntos porcentuales del objetivo aporta más al RMSE que cinco categorías desviadas 2 puntos cada una.
| RMSE | Interpretación |
|---|---|
| < 0,02 | Excelente: la muestra se ajusta mucho a los objetivos |
| 0,02–0,05 | Aceptable: desviaciones leves que la ponderación debería corregir |
| 0,05–0,10 | Preocupante: desviaciones importantes; investigue las causas |
| > 0,10 | Problemático: problemas estructurales de muestreo; la ponderación puede no bastar |
MAE (error absoluto medio)
Sección titulada «MAE (error absoluto medio)»Desviación media por categoría. Es más robusto que el RMSE frente a categorías atípicas.
Cuando el MAE es mucho menor que el RMSE, una o dos categorías se desvían mucho mientras las demás están bien. Cuando MAE ≈ RMSE, las desviaciones están repartidas de manera uniforme.
Prueba de chi cuadrado
Sección titulada «Prueba de chi cuadrado»Comprueba si las desviaciones observadas respecto a los objetivos son estadísticamente significativas o se deben al ruido aleatorio del muestreo.
Donde \(O_i\) es el recuento observado y \(E_i\) es el recuento esperado según las proporciones objetivo.
Desviación máxima
Sección titulada «Desviación máxima»La mayor diferencia en una sola categoría entre las proporciones real y objetivo. Identifica la categoría demográfica más problemática.
| Desviación máxima | Interpretación |
|---|---|
| < 0,05 | Todas las categorías dentro del intervalo aceptable |
| 0,05–0,10 | Una categoría moderadamente desviada; probablemente la ponderación la corrija |
| > 0,10 | Laguna estructural: al menos un grupo está claramente mal representado |
Puntuación de calidad compuesta
Sección titulada «Puntuación de calidad compuesta»La puntuación global de calidad (0–1) se obtiene del error compuesto mediante score = 1 / (1 + 5 × error), donde el error es la media ponderada del RMSE de cada factor (o el factor más desfavorable en la agregación por máximo). Cuanto más alta, mejor. La interfaz de calidad de Balansor colorea la puntuación exactamente con estos dos umbrales:
| Puntuación | Valoración | Interpretación |
|---|---|---|
| > 0,8 | Buena (verde) | La muestra representa adecuadamente a la población objetivo |
| 0,6–0,8 | Aceptable (amarillo) | Algunos factores se desvían de los objetivos; se recomienda ponderar |
| < 0,6 | Deficiente (rojo) | Problemas importantes de representatividad: investigue las causas de fondo antes de confiar en las estimaciones |
Diagnóstico de la ponderación
Sección titulada «Diagnóstico de la ponderación»Después de que el raking (calibración por rastrillado, ajuste proporcional iterativo) genere un conjunto de datos Plata, estas métricas evalúan si la ponderación mejoró la representatividad sin introducir una varianza excesiva.
Efecto de diseño (DEFF)
Sección titulada «Efecto de diseño (DEFF)»Inflación de la varianza causada por la ponderación desigual (Kish, 1965):
Donde \(\text{CV}_w\) es el coeficiente de variación de los pesos.
| DEFF | Interpretación |
|---|---|
| < 1,5 | Impacto mínimo en la precisión |
| 1,5–2,0 | Pérdida de precisión moderada; aceptable para la mayoría de los estudios |
| 2,0–3,0 | Considerable: revise la distribución de los pesos |
| > 3,0 | Grave: la ponderación está compensando problemas estructurales de la muestra |
Tamaño muestral efectivo
Sección titulada «Tamaño muestral efectivo»El tamaño de una muestra sin ponderar equivalente, una vez tenido en cuenta el efecto de diseño:
| \(n_{\text{eff}} / n\) | Interpretación |
|---|---|
| > 0,80 | Pérdida mínima de eficiencia por la ponderación |
| 0,50–0,80 | Pérdida moderada: algunos grupos tienen pesos elevados |
| < 0,50 | Pérdida grave: la ponderación compensa de forma demasiado agresiva |
Referencias de calidad de los pesos
Sección titulada «Referencias de calidad de los pesos»| Métrica | Buena | Aceptable | Problemática |
|---|---|---|---|
| CV de los pesos | < 0,5 | 0,5–1,0 | > 1,0 |
| Razón entre peso máximo y mínimo | < 4:1 | 4:1–6:1 | > 6:1 |
Tasa de finalización
Sección titulada «Tasa de finalización»Proporción de las encuestas de una campaña que están completas, sobre todas las encuestas creadas para ella, invitadas o no. «Completa» significa que el encuestado respondió más del 80 % de las preguntas que le correspondían, la misma regla que usa la finalización por modo. Un encuestado que pulsó Finalizar tras un par de preguntas tiene una encuesta cerrada, pero no se cuenta como completa. Ofrece una medida general del éxito del trabajo de campo y del posible sesgo de no respuesta.
Finalización por modo
Sección titulada «Finalización por modo»La tasa de finalización de la campaña divide entre todas las encuestas creadas, invitadas o no, así que no permite comparar canales: un encuestado solo elige la página web o su asistente de IA cuando empieza. Por eso, la finalización por modo divide entre los iniciados, las encuestas cuya primera pregunta se mostró, por separado para cada modo de encuesta (direct, ai_assisted, field_interview). Una pantalla de consentimiento no es una pregunta, así que un encuestado que dio su consentimiento en el asistente de IA y no pasó de ahí no cuenta como iniciado.
Cada encuesta iniciada se clasifica según los umbrales de ítems de AAPOR, en función de la proporción de preguntas aplicables que se respondieron:
| Disposición | Proporción respondida |
|---|---|
| Completa | más del 80 % |
| Parcial | del 50 % al 80 % |
| Abandono | menos del 50 % |
Las preguntas aplicables son las que alcanzó el encuestado, más las que aún le quedaban por delante en su recorrido cuya condición de visualización es verdadera o todavía no puede decidirse con las respuestas dadas. Así, una encuesta que terminó con normalidad se mide por su propia completitud, mientras que un abandono se mide con respecto a lo que aún le quedaba por delante. Los comentarios no llevan respuesta y nunca cuentan.
La tasa de finalización es el número de encuestas iniciadas completas dividido entre todas las iniciadas, y se presenta con un intervalo de confianza de Wilson del 95 %. Un modo con menos de 30 encuestas iniciadas muestra sus recuentos sin tasa, porque una tasa calculada sobre un puñado de casos parece un hallazgo cuando no es más que ruido.
Métricas de calidad de las respuestas
Sección titulada «Métricas de calidad de las respuestas»Estas métricas evalúan las propias respuestas a la encuesta, con independencia de la estrategia de muestreo.
Métricas por pregunta
Sección titulada «Métricas por pregunta»Entropía normalizada (preguntas categóricas)
Sección titulada «Entropía normalizada (preguntas categóricas)»Mide la diversidad de las respuestas en las preguntas de opción única y de lista desplegable. Se basa en la entropía de Shannon (Shannon, 1948), normalizada a una escala de 0 a 1:
Donde \(p_i\) es la proporción de respuestas que eligen la opción \(i\) y \(k\) es el número de opciones disponibles.
| \(H_{\text{norm}}\) | Interpretación |
|---|---|
| > 0,7 | Buena diversidad: las respuestas se reparten entre las opciones |
| 0,3–0,7 | Moderada: algunas opciones predominan |
| < 0,3 | Diversidad baja: las respuestas se concentran en pocas opciones (efecto techo o suelo) |
Un valor de 1,0 indica una distribución perfectamente uniforme. Un valor cercano a 0,0 indica que casi todos los encuestados eligieron la misma opción.
Número efectivo de respuestas
Sección titulada «Número efectivo de respuestas»El número de Hill de orden 1 (Hill, 1973): cuántas opciones tienen un peso significativo.
Si una pregunta tiene 5 opciones pero \(N_{\text{eff}} = 2.1\), solo unas 2 opciones reciben un número considerable de respuestas. Es más intuitivo que la entropía en bruto para detectar escalas de respuesta infrautilizadas.
Proporción de uso de opciones
Sección titulada «Proporción de uso de opciones»Fracción de las opciones disponibles que recibieron al menos una respuesta:
Una proporción inferior a 0,5 sugiere que algunas opciones son irrelevantes y podrían fusionarse o eliminarse.
Varianza del ítem (preguntas numéricas)
Sección titulada «Varianza del ítem (preguntas numéricas)»Dispersión de las respuestas en las preguntas de campo de edición, control deslizante y rango; una respuesta de rango se mide por separado en cada extremo (valor mínimo y máximo). En los conjuntos de datos ponderados (Plata) se usa la varianza ponderada:
Una varianza de cero significa que todos los encuestados dieron la misma respuesta: una clara señal de una escala mal calibrada o de un efecto techo o suelo.
La tabla por pregunta de Balansor muestra esta medida como desviación típica (σ, la raíz cuadrada de la varianza), de modo que se lee en la propia unidad de la pregunta: la dispersión de una pregunta sobre el valor de una vivienda aparece como 787K, no como una varianza en dólares al cuadrado. La varianza en bruto se mantiene en la respuesta de la API como item_variance.
Tasa de no respuesta al ítem
Sección titulada «Tasa de no respuesta al ítem»Proporción de encuestados que se saltaron la pregunta:
| Tasa de no respuesta | Interpretación |
|---|---|
| < 5 % | Normal |
| 5–10 % | Vigilar: puede indicar sensibilidad o confusión |
| 10–20 % | Investigue la redacción, la ubicación o la sensibilidad |
| > 20 % | Rediseñe la pregunta |
Las tasas de no respuesta que aumentan hacia el final de la encuesta suelen indicar cansancio del encuestado.
Métricas de grupo
Sección titulada «Métricas de grupo»Para los grupos de preguntas y las preguntas de matriz con varios subítems y, en el caso de las respuestas en línea recta, también para preguntas independientes que comparten una misma escala de respuesta.
Puntuación de respuestas en línea recta
Sección titulada «Puntuación de respuestas en línea recta»Proporción de encuestados que dan respuestas idénticas a todos los ítems de un conjunto (Krosnick, 1991). Un conjunto es:
- los subítems de un grupo de preguntas o de una pregunta de matriz, o
- tres o más preguntas independientes con el mismo control y exactamente las mismas opciones de respuesta (códigos y etiquetas), cuando esas opciones son al menos tres. Se muestran como Escala compartida, con sus identificadores de pregunta. Un conjunto de respuestas de dos opciones, como Sí/No, queda fuera: preguntas sin relación lo comparten constantemente, así que responder «No» a cada una de ellas no dice nada sobre la atención.
Las respuestas solo cuentan como idénticas dentro de un mismo conjunto: elegir la opción 1 en «departamento» y la opción 1 en «motivo de la baja» no es responder en línea recta.
| Respuestas en línea recta | Interpretación |
|---|---|
| < 5 % | Normal: no es necesario actuar |
| 5–15 % | Investigar: puede indicar un diseño de pregunta confuso |
| > 15 % | Problema estructural: rediseñe la matriz o añada controles de atención |
Alfa de Cronbach (consistencia interna)
Sección titulada «Alfa de Cronbach (consistencia interna)»Mide si los subítems de un grupo miden el mismo constructo subyacente (Cronbach, 1951). Requiere 3 o más subítems:
Donde \(k\) es el número de subítems, \(\sigma^2_i\) es la varianza del subítem \(i\) y \(\sigma^2_{\text{total}}\) es la varianza de la puntuación total.
| \(\alpha\) | Interpretación |
|---|---|
| > 0,8 | Buena consistencia interna |
| 0,6–0,8 | Aceptable |
| < 0,6 | Deficiente: los subítems pueden no medir el mismo constructo |
Agregados del conjunto de datos
Sección titulada «Agregados del conjunto de datos»| Métrica | Fórmula | Umbral de alerta |
|---|---|---|
| Entropía normalizada media | Media de \(H_{\text{norm}}\) en las preguntas categóricas | < 0,3 |
| Índice de sesgo de aquiescencia | Proporción de respuestas «de acuerdo» en los ítems tipo Likert | > 0,6 |
| Tasa global de no respuesta | Tasa media de omisión en todas las preguntas | > 0,15 |
Índice de sesgo de aquiescencia
Sección titulada «Índice de sesgo de aquiescencia»Detecta la tendencia sistemática a mostrarse de acuerdo con las afirmaciones sea cual sea su contenido. Solo se calcula para escalas tipo Likert de acuerdo/desacuerdo:
Un valor de 0,5 indica ausencia de sesgo (equilibrio entre acuerdo y desacuerdo). Los valores superiores a 0,6 sugieren que los encuestados se muestran de acuerdo sea cual sea el contenido de la pregunta; considere añadir ítems de codificación inversa.
Detección de encuestados demasiado rápidos
Sección titulada «Detección de encuestados demasiado rápidos»Identifica a los encuestados demasiado rápidos (speeders), los que respondieron con una rapidez inusual, lo que sugiere respuestas desatentas o automatizadas (Kunz y Hadler, 2020):
Los encuestados que quedan por debajo del umbral se marcan como speeders.
Tiempo de respuesta, no tiempo transcurrido. Askalot cronometra cada pregunta por separado, desde el momento en que se presenta hasta el momento en que llega la respuesta, y suma esos intervalos. No es el intervalo de reloj entre la creación de una encuesta y su envío, y la diferencia importa: un encuestado invitado el lunes que se pone a responder el jueves abarca tres días aunque responda a un ritmo perfectamente normal. Como el umbral es una mediana de toda la cohorte, un puñado de encuestados así lo elevaría hasta que los marcados fueran precisamente quienes respondieron sin más dilación.
El tiempo dedicado a una pregunta de la que el encuestado volvió atrás sigue contando, porque realmente lo dedicó, aunque no cuente como intento de respuesta.
Agregación de varios indicadores (regla del béisbol)
Sección titulada «Agregación de varios indicadores (regla del béisbol)»Ninguna comprobación de calidad debe usarse por sí sola para excluir encuestados. La regla del béisbol (CloudResearch, 2024) agrega varios indicadores de calidad independientes por encuestado y recomienda la exclusión solo cuando coinciden 3 o más:
| Indicador | Activación |
|---|---|
| Speeder | Tiempo de respuesta inferior a 1/3 de la mediana |
| Respuestas en línea recta | Respuestas idénticas en todos los ítems de cualquier conjunto de respuestas en línea recta (un grupo de preguntas, o tres o más preguntas que comparten una escala) |
| No respuesta elevada | Más del 30 % de las preguntas omitidas |
Este enfoque de varios indicadores reduce los falsos positivos: no se penaliza a un encuestado que resulta ser rápido pero responde con reflexión.
Interpretación de los resultados
Sección titulada «Interpretación de los resultados»Patrones habituales y acciones
Sección titulada «Patrones habituales y acciones»| Observación | Causa posible | Acción |
|---|---|---|
| Entropía baja (< 30 %) en una pregunta | Efecto techo o suelo, u opciones mal equilibradas | Revise la redacción de las opciones; considere dividir la categoría dominante |
| No respuesta elevada (> 15 %) en una pregunta | Pregunta confusa o delicada | Simplifique la redacción o deje claro que es opcional |
| Respuestas en línea recta elevadas (> 15 %) en un grupo | Respuestas desatentas o subítems poco diferenciados | Añada controles de atención; varíe los anclajes de la escala; acorte la batería |
| Alfa de Cronbach bajo (< 0,5) | Los subítems no miden el mismo constructo | Revise la selección de ítems; considere eliminar los ítems débiles |
| Aquiescencia elevada (> 60 %) | Sesgo de asentimiento | Añada ítems de codificación inversa; varíe la dirección de la escala |
| Uso de opciones bajo (< 50 %) | Las opciones sin usar son irrelevantes | Fusione o elimine las opciones que casi nunca se eligen |
| RMSE elevado (> 0,05) | Sesgo de muestreo sistemático | Ajuste las cuotas y diversifique los canales de captación |
| Efecto de diseño grande (> 2,0) | Ajustes de peso extremos | Mejore el equilibrio de la muestra antes de confiar en la ponderación |
| Speeders marcados (> 5 % de la cohorte cronometrada) | Respuestas desatentas o motivadas por el incentivo | Revise la estructura de incentivos; añada controles de atención |
| Encuestados con varios indicadores | Coinciden varios problemas de calidad | Exclúyalos del análisis; documente los criterios de exclusión |
Dos dimensiones, una sola imagen
Sección titulada «Dos dimensiones, una sola imagen»La representatividad de la muestra y la calidad de las respuestas son dimensiones independientes. Un conjunto de datos puede tener una representatividad excelente pero una calidad de respuestas deficiente, o al revés.
| Representatividad | Calidad de las respuestas | Valoración |
|---|---|---|
| Buena | Buena | Los datos son aptos para el análisis |
| Buena | Deficiente | La muestra se ajusta a los objetivos, pero las respuestas no son fiables: investigue los problemas de medición |
| Deficiente | Buena | Las respuestas son genuinas, pero la muestra está sesgada: aplique ponderación o ajuste la captación |
| Deficiente | Deficiente | Problemas tanto estructurales como de medición: revise la captación y el diseño del cuestionario |
Fundamentos metodológicos
Sección titulada «Fundamentos metodológicos»El marco de análisis de la calidad se basa en una metodología de investigación por encuesta consolidada:
| Marco | Aplicación |
|---|---|
| Error total de encuesta (Groves et al., 2009) | Organiza las métricas por fuente de error: cobertura, muestreo, no respuesta, medición |
| Normas de AAPOR | Cálculo de tasas de respuesta, códigos de disposición, informes de calidad |
| Kish (1965) | Efectos de diseño, tamaño muestral efectivo en diseños complejos |
| Krosnick (1991) | Teoría del satisficing: respuestas en línea recta y aquiescencia como indicadores de calidad de las respuestas |
| Shannon (1948) | La entropía de la información como medida de la diversidad de las respuestas |
| Cronbach (1951) | Fiabilidad de consistencia interna para escalas de varios ítems |
| Hill (1973) | Número efectivo de especies (respuestas): números de Hill para medir la diversidad |
| Kalton y Flores-Cervantes (2003) | Métodos de ponderación: raking, calibración, recorte de pesos |
| Kunz y Hadler (2020) | Paradatos web: análisis de tiempos de respuesta, umbrales de detección de speeders |
| CloudResearch (2024) | Agregación de varios indicadores de calidad: regla del béisbol para la exclusión de encuestados |
Documentación relacionada
Sección titulada «Documentación relacionada»- Guía de análisis de datos: proceso Bronce/Plata/Oro, ponderación, exportación
- Análisis de resultados asistido por IA: agente analista de IA para informes de calidad automatizados
- Herramientas de conjuntos de datos — Referencia de herramientas MCP: acceso programático a las métricas de calidad
- Gestión de campañas: estrategias de muestreo y grupos de encuestados