Ir al contenido
Base de conocimiento

Referencia de métricas de calidad

Askalot evalúa la calidad de los datos de encuesta en dos dimensiones complementarias, basadas en el marco del error total de encuesta (TSE) (Groves et al., 2009):

  • Representatividad de la muestra: ¿coincide la demografía de los encuestados con la población objetivo? Cuantifica el error de cobertura y el de no respuesta.
  • Calidad de las respuestas: ¿producen las preguntas de la encuesta respuestas informativas y diversas? Detecta el error de medición.

Ambas dimensiones deben ser aceptables para que los datos sean aptos para el análisis.


Métricas de representatividad de la muestra

Sección titulada «Métricas de representatividad de la muestra»

Estas métricas comparan la distribución demográfica real de los encuestados con las distribuciones objetivo definidas en una estrategia de muestreo.

Desviación global entre las distribuciones de la muestra y las objetivo en todas las categorías demográficas.

\[\text{RMSE} = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (a_i - t_i)^2}\]

Donde \(a_i\) es la proporción real y \(t_i\) es la proporción objetivo de la categoría \(i\).

Por el término al cuadrado, el RMSE penaliza más las desviaciones grandes que muchas desviaciones pequeñas. Una sola categoría demográfica que se aleja 10 puntos porcentuales del objetivo aporta más al RMSE que cinco categorías desviadas 2 puntos cada una.

RMSE Interpretación
< 0,02 Excelente: la muestra se ajusta mucho a los objetivos
0,02–0,05 Aceptable: desviaciones leves que la ponderación debería corregir
0,05–0,10 Preocupante: desviaciones importantes; investigue las causas
> 0,10 Problemático: problemas estructurales de muestreo; la ponderación puede no bastar

Desviación media por categoría. Es más robusto que el RMSE frente a categorías atípicas.

\[\text{MAE} = \frac{1}{N} \sum_{i=1}^{N} |a_i - t_i|\]

Cuando el MAE es mucho menor que el RMSE, una o dos categorías se desvían mucho mientras las demás están bien. Cuando MAE ≈ RMSE, las desviaciones están repartidas de manera uniforme.

Comprueba si las desviaciones observadas respecto a los objetivos son estadísticamente significativas o se deben al ruido aleatorio del muestreo.

\[\chi^2 = \sum_{i=1}^{k} \frac{(O_i - E_i)^2}{E_i}\]

Donde \(O_i\) es el recuento observado y \(E_i\) es el recuento esperado según las proporciones objetivo.

La mayor diferencia en una sola categoría entre las proporciones real y objetivo. Identifica la categoría demográfica más problemática.

Desviación máxima Interpretación
< 0,05 Todas las categorías dentro del intervalo aceptable
0,05–0,10 Una categoría moderadamente desviada; probablemente la ponderación la corrija
> 0,10 Laguna estructural: al menos un grupo está claramente mal representado

La puntuación global de calidad (0–1) se obtiene del error compuesto mediante score = 1 / (1 + 5 × error), donde el error es la media ponderada del RMSE de cada factor (o el factor más desfavorable en la agregación por máximo). Cuanto más alta, mejor. La interfaz de calidad de Balansor colorea la puntuación exactamente con estos dos umbrales:

Puntuación Valoración Interpretación
> 0,8 Buena (verde) La muestra representa adecuadamente a la población objetivo
0,6–0,8 Aceptable (amarillo) Algunos factores se desvían de los objetivos; se recomienda ponderar
< 0,6 Deficiente (rojo) Problemas importantes de representatividad: investigue las causas de fondo antes de confiar en las estimaciones

Después de que el raking (calibración por rastrillado, ajuste proporcional iterativo) genere un conjunto de datos Plata, estas métricas evalúan si la ponderación mejoró la representatividad sin introducir una varianza excesiva.

Inflación de la varianza causada por la ponderación desigual (Kish, 1965):

\[\text{DEFF} = 1 + \text{CV}^2_w\]

Donde \(\text{CV}_w\) es el coeficiente de variación de los pesos.

DEFF Interpretación
< 1,5 Impacto mínimo en la precisión
1,5–2,0 Pérdida de precisión moderada; aceptable para la mayoría de los estudios
2,0–3,0 Considerable: revise la distribución de los pesos
> 3,0 Grave: la ponderación está compensando problemas estructurales de la muestra

El tamaño de una muestra sin ponderar equivalente, una vez tenido en cuenta el efecto de diseño:

\[n_{\text{eff}} = \frac{n}{\text{DEFF}} = \frac{(\sum w_i)^2}{\sum w_i^2}\]
\(n_{\text{eff}} / n\) Interpretación
> 0,80 Pérdida mínima de eficiencia por la ponderación
0,50–0,80 Pérdida moderada: algunos grupos tienen pesos elevados
< 0,50 Pérdida grave: la ponderación compensa de forma demasiado agresiva
Métrica Buena Aceptable Problemática
CV de los pesos < 0,5 0,5–1,0 > 1,0
Razón entre peso máximo y mínimo < 4:1 4:1–6:1 > 6:1

Proporción de las encuestas de una campaña que están completas, sobre todas las encuestas creadas para ella, invitadas o no. «Completa» significa que el encuestado respondió más del 80 % de las preguntas que le correspondían, la misma regla que usa la finalización por modo. Un encuestado que pulsó Finalizar tras un par de preguntas tiene una encuesta cerrada, pero no se cuenta como completa. Ofrece una medida general del éxito del trabajo de campo y del posible sesgo de no respuesta.

La tasa de finalización de la campaña divide entre todas las encuestas creadas, invitadas o no, así que no permite comparar canales: un encuestado solo elige la página web o su asistente de IA cuando empieza. Por eso, la finalización por modo divide entre los iniciados, las encuestas cuya primera pregunta se mostró, por separado para cada modo de encuesta (direct, ai_assisted, field_interview). Una pantalla de consentimiento no es una pregunta, así que un encuestado que dio su consentimiento en el asistente de IA y no pasó de ahí no cuenta como iniciado.

Cada encuesta iniciada se clasifica según los umbrales de ítems de AAPOR, en función de la proporción de preguntas aplicables que se respondieron:

Disposición Proporción respondida
Completa más del 80 %
Parcial del 50 % al 80 %
Abandono menos del 50 %

Las preguntas aplicables son las que alcanzó el encuestado, más las que aún le quedaban por delante en su recorrido cuya condición de visualización es verdadera o todavía no puede decidirse con las respuestas dadas. Así, una encuesta que terminó con normalidad se mide por su propia completitud, mientras que un abandono se mide con respecto a lo que aún le quedaba por delante. Los comentarios no llevan respuesta y nunca cuentan.

La tasa de finalización es el número de encuestas iniciadas completas dividido entre todas las iniciadas, y se presenta con un intervalo de confianza de Wilson del 95 %. Un modo con menos de 30 encuestas iniciadas muestra sus recuentos sin tasa, porque una tasa calculada sobre un puñado de casos parece un hallazgo cuando no es más que ruido.


Estas métricas evalúan las propias respuestas a la encuesta, con independencia de la estrategia de muestreo.

Entropía normalizada (preguntas categóricas)

Sección titulada «Entropía normalizada (preguntas categóricas)»

Mide la diversidad de las respuestas en las preguntas de opción única y de lista desplegable. Se basa en la entropía de Shannon (Shannon, 1948), normalizada a una escala de 0 a 1:

\[H_{\text{norm}} = \frac{H}{\log k} = \frac{-\sum_{i=1}^{k} p_i \log p_i}{\log k}\]

Donde \(p_i\) es la proporción de respuestas que eligen la opción \(i\) y \(k\) es el número de opciones disponibles.

\(H_{\text{norm}}\) Interpretación
> 0,7 Buena diversidad: las respuestas se reparten entre las opciones
0,3–0,7 Moderada: algunas opciones predominan
< 0,3 Diversidad baja: las respuestas se concentran en pocas opciones (efecto techo o suelo)

Un valor de 1,0 indica una distribución perfectamente uniforme. Un valor cercano a 0,0 indica que casi todos los encuestados eligieron la misma opción.

El número de Hill de orden 1 (Hill, 1973): cuántas opciones tienen un peso significativo.

\[N_{\text{eff}} = \exp(H) = \exp\!\left(-\sum_{i=1}^{k} p_i \log p_i\right)\]

Si una pregunta tiene 5 opciones pero \(N_{\text{eff}} = 2.1\), solo unas 2 opciones reciben un número considerable de respuestas. Es más intuitivo que la entropía en bruto para detectar escalas de respuesta infrautilizadas.

Fracción de las opciones disponibles que recibieron al menos una respuesta:

\[\text{OUR} = \frac{|\{i : c_i > 0\}|}{k}\]

Una proporción inferior a 0,5 sugiere que algunas opciones son irrelevantes y podrían fusionarse o eliminarse.

Dispersión de las respuestas en las preguntas de campo de edición, control deslizante y rango; una respuesta de rango se mide por separado en cada extremo (valor mínimo y máximo). En los conjuntos de datos ponderados (Plata) se usa la varianza ponderada:

\[\sigma^2_w = \frac{\sum_{i=1}^{n} w_i (x_i - \bar{x}_w)^2}{\sum_{i=1}^{n} w_i}\]

Una varianza de cero significa que todos los encuestados dieron la misma respuesta: una clara señal de una escala mal calibrada o de un efecto techo o suelo.

La tabla por pregunta de Balansor muestra esta medida como desviación típica (σ, la raíz cuadrada de la varianza), de modo que se lee en la propia unidad de la pregunta: la dispersión de una pregunta sobre el valor de una vivienda aparece como 787K, no como una varianza en dólares al cuadrado. La varianza en bruto se mantiene en la respuesta de la API como item_variance.

Proporción de encuestados que se saltaron la pregunta:

\[\text{NRR} = \frac{n_{\text{missing}}}{n_{\text{total}}}\]
Tasa de no respuesta Interpretación
< 5 % Normal
5–10 % Vigilar: puede indicar sensibilidad o confusión
10–20 % Investigue la redacción, la ubicación o la sensibilidad
> 20 % Rediseñe la pregunta

Las tasas de no respuesta que aumentan hacia el final de la encuesta suelen indicar cansancio del encuestado.

Para los grupos de preguntas y las preguntas de matriz con varios subítems y, en el caso de las respuestas en línea recta, también para preguntas independientes que comparten una misma escala de respuesta.

Proporción de encuestados que dan respuestas idénticas a todos los ítems de un conjunto (Krosnick, 1991). Un conjunto es:

  • los subítems de un grupo de preguntas o de una pregunta de matriz, o
  • tres o más preguntas independientes con el mismo control y exactamente las mismas opciones de respuesta (códigos y etiquetas), cuando esas opciones son al menos tres. Se muestran como Escala compartida, con sus identificadores de pregunta. Un conjunto de respuestas de dos opciones, como Sí/No, queda fuera: preguntas sin relación lo comparten constantemente, así que responder «No» a cada una de ellas no dice nada sobre la atención.

Las respuestas solo cuentan como idénticas dentro de un mismo conjunto: elegir la opción 1 en «departamento» y la opción 1 en «motivo de la baja» no es responder en línea recta.

\[S = \frac{n_{\text{straightliners}}}{n_{\text{respondents}}}\]
Respuestas en línea recta Interpretación
< 5 % Normal: no es necesario actuar
5–15 % Investigar: puede indicar un diseño de pregunta confuso
> 15 % Problema estructural: rediseñe la matriz o añada controles de atención

Mide si los subítems de un grupo miden el mismo constructo subyacente (Cronbach, 1951). Requiere 3 o más subítems:

\[\alpha = \frac{k}{k-1} \left(1 - \frac{\sum_{i=1}^{k} \sigma^2_i}{\sigma^2_{\text{total}}}\right)\]

Donde \(k\) es el número de subítems, \(\sigma^2_i\) es la varianza del subítem \(i\) y \(\sigma^2_{\text{total}}\) es la varianza de la puntuación total.

\(\alpha\) Interpretación
> 0,8 Buena consistencia interna
0,6–0,8 Aceptable
< 0,6 Deficiente: los subítems pueden no medir el mismo constructo
Métrica Fórmula Umbral de alerta
Entropía normalizada media Media de \(H_{\text{norm}}\) en las preguntas categóricas < 0,3
Índice de sesgo de aquiescencia Proporción de respuestas «de acuerdo» en los ítems tipo Likert > 0,6
Tasa global de no respuesta Tasa media de omisión en todas las preguntas > 0,15

Detecta la tendencia sistemática a mostrarse de acuerdo con las afirmaciones sea cual sea su contenido. Solo se calcula para escalas tipo Likert de acuerdo/desacuerdo:

\[\text{ABI} = \frac{\sum \text{agree responses}}{\sum \text{total Likert responses}}\]

Un valor de 0,5 indica ausencia de sesgo (equilibrio entre acuerdo y desacuerdo). Los valores superiores a 0,6 sugieren que los encuestados se muestran de acuerdo sea cual sea el contenido de la pregunta; considere añadir ítems de codificación inversa.

Detección de encuestados demasiado rápidos

Sección titulada «Detección de encuestados demasiado rápidos»

Identifica a los encuestados demasiado rápidos (speeders), los que respondieron con una rapidez inusual, lo que sugiere respuestas desatentas o automatizadas (Kunz y Hadler, 2020):

\[\text{threshold} = \frac{\text{median answering time}}{3}\]

Los encuestados que quedan por debajo del umbral se marcan como speeders.

Tiempo de respuesta, no tiempo transcurrido. Askalot cronometra cada pregunta por separado, desde el momento en que se presenta hasta el momento en que llega la respuesta, y suma esos intervalos. No es el intervalo de reloj entre la creación de una encuesta y su envío, y la diferencia importa: un encuestado invitado el lunes que se pone a responder el jueves abarca tres días aunque responda a un ritmo perfectamente normal. Como el umbral es una mediana de toda la cohorte, un puñado de encuestados así lo elevaría hasta que los marcados fueran precisamente quienes respondieron sin más dilación.

El tiempo dedicado a una pregunta de la que el encuestado volvió atrás sigue contando, porque realmente lo dedicó, aunque no cuente como intento de respuesta.

Agregación de varios indicadores (regla del béisbol)

Sección titulada «Agregación de varios indicadores (regla del béisbol)»

Ninguna comprobación de calidad debe usarse por sí sola para excluir encuestados. La regla del béisbol (CloudResearch, 2024) agrega varios indicadores de calidad independientes por encuestado y recomienda la exclusión solo cuando coinciden 3 o más:

Indicador Activación
Speeder Tiempo de respuesta inferior a 1/3 de la mediana
Respuestas en línea recta Respuestas idénticas en todos los ítems de cualquier conjunto de respuestas en línea recta (un grupo de preguntas, o tres o más preguntas que comparten una escala)
No respuesta elevada Más del 30 % de las preguntas omitidas

Este enfoque de varios indicadores reduce los falsos positivos: no se penaliza a un encuestado que resulta ser rápido pero responde con reflexión.


Observación Causa posible Acción
Entropía baja (< 30 %) en una pregunta Efecto techo o suelo, u opciones mal equilibradas Revise la redacción de las opciones; considere dividir la categoría dominante
No respuesta elevada (> 15 %) en una pregunta Pregunta confusa o delicada Simplifique la redacción o deje claro que es opcional
Respuestas en línea recta elevadas (> 15 %) en un grupo Respuestas desatentas o subítems poco diferenciados Añada controles de atención; varíe los anclajes de la escala; acorte la batería
Alfa de Cronbach bajo (< 0,5) Los subítems no miden el mismo constructo Revise la selección de ítems; considere eliminar los ítems débiles
Aquiescencia elevada (> 60 %) Sesgo de asentimiento Añada ítems de codificación inversa; varíe la dirección de la escala
Uso de opciones bajo (< 50 %) Las opciones sin usar son irrelevantes Fusione o elimine las opciones que casi nunca se eligen
RMSE elevado (> 0,05) Sesgo de muestreo sistemático Ajuste las cuotas y diversifique los canales de captación
Efecto de diseño grande (> 2,0) Ajustes de peso extremos Mejore el equilibrio de la muestra antes de confiar en la ponderación
Speeders marcados (> 5 % de la cohorte cronometrada) Respuestas desatentas o motivadas por el incentivo Revise la estructura de incentivos; añada controles de atención
Encuestados con varios indicadores Coinciden varios problemas de calidad Exclúyalos del análisis; documente los criterios de exclusión

La representatividad de la muestra y la calidad de las respuestas son dimensiones independientes. Un conjunto de datos puede tener una representatividad excelente pero una calidad de respuestas deficiente, o al revés.

Representatividad Calidad de las respuestas Valoración
Buena Buena Los datos son aptos para el análisis
Buena Deficiente La muestra se ajusta a los objetivos, pero las respuestas no son fiables: investigue los problemas de medición
Deficiente Buena Las respuestas son genuinas, pero la muestra está sesgada: aplique ponderación o ajuste la captación
Deficiente Deficiente Problemas tanto estructurales como de medición: revise la captación y el diseño del cuestionario

El marco de análisis de la calidad se basa en una metodología de investigación por encuesta consolidada:

Marco Aplicación
Error total de encuesta (Groves et al., 2009) Organiza las métricas por fuente de error: cobertura, muestreo, no respuesta, medición
Normas de AAPOR Cálculo de tasas de respuesta, códigos de disposición, informes de calidad
Kish (1965) Efectos de diseño, tamaño muestral efectivo en diseños complejos
Krosnick (1991) Teoría del satisficing: respuestas en línea recta y aquiescencia como indicadores de calidad de las respuestas
Shannon (1948) La entropía de la información como medida de la diversidad de las respuestas
Cronbach (1951) Fiabilidad de consistencia interna para escalas de varios ítems
Hill (1973) Número efectivo de especies (respuestas): números de Hill para medir la diversidad
Kalton y Flores-Cervantes (2003) Métodos de ponderación: raking, calibración, recorte de pesos
Kunz y Hadler (2020) Paradatos web: análisis de tiempos de respuesta, umbrales de detección de speeders
CloudResearch (2024) Agregación de varios indicadores de calidad: regla del béisbol para la exclusión de encuestados