Tovább a tartalomhoz
Tudástár

Minőségi mutatók – referencia

Az Askalot két, egymást kiegészítő dimenzióban értékeli a felmérési adatok minőségét, a teljes felmérési hiba (TSE) keretrendszerére (Groves és mtsai, 2009) építve:

  • A minta reprezentativitása – Megfelel-e a válaszadók demográfiai összetétele a célpopulációnak? A lefedettségi és a nemválaszolási hibát számszerűsíti.
  • Válaszminőség – Informatív, változatos válaszokat adnak-e a kérdések? A mérési hibát tárja fel.

Az adatok csak akkor alkalmasak elemzésre, ha mindkét dimenzió elfogadható.


A minta reprezentativitásának mutatói

Szekció neve “A minta reprezentativitásának mutatói”

Ezek a mutatók a válaszadók tényleges demográfiai eloszlását vetik össze a mintavételi stratégiában meghatározott céleloszlásokkal.

A minta- és a céleloszlás közötti teljes eltérés az összes demográfiai kategóriára.

\[\text{RMSE} = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (a_i - t_i)^2}\]

Ahol \(a_i\) a tényleges arány, \(t_i\) pedig a célarány az \(i\). kategóriában.

A négyzetes tag miatt az RMSE a nagy eltéréseket erősebben bünteti, mint a sok kicsit. Egyetlen, a céltól 10 százalékponttal eltérő demográfiai kategória többel járul hozzá az RMSE-hez, mint öt kategória, amelyek mindegyike 2 ponttal tér el.

RMSE Értelmezés
< 0,02 Kiváló – a minta szorosan követi a célértékeket
0,02–0,05 Elfogadható – kisebb eltérések, a súlyozásnak korrigálnia kell
0,05–0,10 Aggasztó – jelentős eltérések, vizsgálja meg az okokat
> 0,10 Problémás – strukturális mintavételi gondok, a súlyozás nem biztos, hogy elég

Kategóriánkénti átlagos eltérés. A kiugró kategóriákra kevésbé érzékeny, mint az RMSE.

\[\text{MAE} = \frac{1}{N} \sum_{i=1}^{N} |a_i - t_i|\]

Ha a MAE jóval kisebb az RMSE-nél, egy-két kategória erősen eltér, a többi rendben van. Ha MAE ≈ RMSE, az eltérések egyenletesen oszlanak el.

Azt vizsgálja, hogy a célértékektől megfigyelt eltérések statisztikailag szignifikánsak-e, vagy csak véletlen mintavételi zajról van szó.

\[\chi^2 = \sum_{i=1}^{k} \frac{(O_i - E_i)^2}{E_i}\]

Ahol \(O_i\) a megfigyelt gyakoriság, \(E_i\) pedig a célarányokból számított várt gyakoriság.

A tényleges és a célarány közötti legnagyobb, egyetlen kategóriában mért különbség. A legproblémásabb demográfiai kategóriát azonosítja.

Maximális eltérés Értelmezés
< 0,05 Minden kategória elfogadható tartományban van
0,05–0,10 Egy kategória mérsékelten eltér – valószínűleg súlyozással korrigálható
> 0,10 Strukturális hiány – legalább egy csoport jelentősen alul- vagy felülreprezentált

Az összesített minőségi pontszám (0–1) az összetett hibából származik a score = 1 / (1 + 5 × error) képlettel, ahol a hiba az egyes tényezők RMSE-jének súlyozott átlaga (maximum szerinti aggregálásnál a legrosszabb tényezőé). A magasabb érték a jobb. A Balansor minőségi felülete pontosan ennél a két küszöbnél színezi a pontszámot:

Pontszám Minősítés Értelmezés
> 0,8 Jó (zöld) A minta megfelelően képviseli a célpopulációt
0,6–0,8 Elfogadható (sárga) Néhány tényező eltér a céltól, súlyozás javasolt
< 0,6 Gyenge (piros) Jelentős reprezentativitási problémák – vizsgálja meg a kiváltó okokat, mielőtt a becslésekre támaszkodna

Miután a rake-súlyozás (iteratív arányos illesztés) előállított egy Ezüst adatkészletet, ezek a mutatók azt értékelik, hogy a súlyozás javította-e a reprezentativitást anélkül, hogy túlzott varianciát vitt volna be.

Az egyenlőtlen súlyozásból eredő varianciatöbblet (Kish, 1965):

\[\text{DEFF} = 1 + \text{CV}^2_w\]

Ahol \(\text{CV}_w\) a súlyok relatív szórása (variációs együtthatója).

DEFF Értelmezés
< 1,5 Minimális hatás a pontosságra
1,5–2,0 Mérsékelt pontosságvesztés – a legtöbb vizsgálatnál elfogadható
2,0–3,0 Jelentős – tekintse át a súlyok eloszlását
> 3,0 Súlyos – a súlyozás strukturális mintaproblémákat próbál ellensúlyozni

Az a súlyozatlan mintanagyság, amely a dizájnhatás figyelembevétele után egyenértékű:

\[n_{\text{eff}} = \frac{n}{\text{DEFF}} = \frac{(\sum w_i)^2}{\sum w_i^2}\]
\(n_{\text{eff}} / n\) Értelmezés
> 0,80 Minimális hatékonyságvesztés a súlyozás miatt
0,50–0,80 Mérsékelt veszteség – egyes csoportok erősen súlyozottak
< 0,50 Súlyos veszteség – a súlyozás túl agresszíven kompenzál

A súlyok minőségének viszonyítási értékei

Szekció neve “A súlyok minőségének viszonyítási értékei”
Mutató Jó Elfogadható Problémás
A súlyok relatív szórása < 0,5 0,5–1,0 > 1,0
Legnagyobb/legkisebb súly aránya < 4:1 4:1–6:1 > 6:1

A kampány teljes kitöltéseinek aránya a kampányhoz létrehozott összes kitöltéshez képest, akár kaptak meghívót, akár nem. Teljes az a kitöltés, amelyben a válaszadó a rá vonatkozó kérdések több mint 80%-ára válaszolt – ugyanaz a szabály, amelyet a Befejezés módonként is használ. Az a válaszadó, aki néhány kérdés után a Befejezés gombra kattintott, kitöltése lezárult, de nem számít teljesnek. Átfogó képet ad a terepmunka sikerességéről és a lehetséges nemválaszolási torzításról.

A kampány kitöltési aránya minden létrehozott kitöltéssel oszt, akár kaptak meghívót, akár nem, így a csatornák összehasonlítására nem alkalmas: a válaszadó csak a kezdéskor választ a weboldal és az MI-asszisztense között. A módonkénti befejezés ezért a megkezdett kitöltésekkel – azokkal, amelyekben megjelent az első kérdés – oszt, külön-külön minden kitöltési módra (direct, ai_assisted, field_interview). A beleegyezési képernyő nem kérdés, így az a válaszadó, aki az MI-asszisztensben beleegyezett, de tovább nem jutott, nem számít megkezdett kitöltésnek.

Minden megkezdett kitöltést az AAPOR tételküszöbei alapján sorolunk be aszerint, hogy a válaszadó a rá vonatkozó kérdések mekkora részére válaszolt:

Végkimenet Megválaszolt arány
Teljes 80% felett
Részleges 50% és 80% között
Megszakított 50% alatt

A rá vonatkozó kérdések azok, amelyekhez a válaszadó eljutott, valamint azok, amelyek még előtte állnak az útvonalán, és amelyek megjelenítési feltétele igaz, vagy az eddigi válaszokból még nem dönthető el. A szabályosan véget ért kitöltést így a saját teljessége méri, a megszakítottat pedig az, ami még előtte állt. A megjegyzések nem tartalmaznak választ, és soha nem számítanak bele.

A kitöltési arány a teljes és az összes megkezdett kitöltés hányadosa, 95%-os Wilson-féle konfidenciaintervallummal. Az a mód, amelyben 30-nál kevesebb a megkezdett kitöltés, csak a darabszámokat közli arány nélkül, mert a néhány esetből számított arány eredménynek tűnik, holott zaj.


Ezek a mutatók magukat a felmérési válaszokat értékelik – a mintavételi stratégiától függetlenül.

Normalizált entrópia (kategoriális kérdések)

Szekció neve “Normalizált entrópia (kategoriális kérdések)”

A rádiógombos és legördülő listás kérdések válaszainak változatosságát méri. A Shannon-entrópián (Shannon, 1948) alapul, 0–1 skálára normalizálva:

\[H_{\text{norm}} = \frac{H}{\log k} = \frac{-\sum_{i=1}^{k} p_i \log p_i}{\log k}\]

Ahol \(p_i\) az \(i\). opciót választó válaszok aránya, \(k\) pedig a rendelkezésre álló opciók száma.

\(H_{\text{norm}}\) Értelmezés
> 0,7 Jó változatosság – a válaszok eloszlanak az opciók között
0,3–0,7 Mérsékelt – egyes opciók dominálnak
< 0,3 Alacsony változatosság – a válaszok néhány opcióra koncentrálódnak (plafon-/padlóhatás)

Az 1,0 érték tökéletesen egyenletes eloszlást jelent. A 0,0-hoz közelítő érték azt, hogy szinte minden válaszadó ugyanazt az opciót választotta.

Az elsőrendű Hill-szám (Hill, 1973) – hány opció hordoz érdemi súlyt:

\[N_{\text{eff}} = \exp(H) = \exp\!\left(-\sum_{i=1}^{k} p_i \log p_i\right)\]

Ha egy kérdésnek 5 opciója van, de \(N_{\text{eff}} = 2.1\), akkor csak nagyjából 2 opció kap számottevő választ. A nyers entrópiánál szemléletesebb a kihasználatlan válaszskálák azonosítására.

A rendelkezésre álló opciók azon része, amely legalább egy választ kapott:

\[\text{OUR} = \frac{|\{i : c_i > 0\}|}{k}\]

A 0,5 alatti arány arra utal, hogy egyes opciók feleslegesek, és összevonhatók vagy elhagyhatók.

A válaszok szóródása beviteli mezős, csúszkás és tartománykérdéseknél; a tartományválasz mindkét végét (a legkisebb és a legnagyobb értéket) külön méri. Súlyozott (Ezüst) adatkészleteknél súlyozott varianciát használ:

\[\sigma^2_w = \frac{\sum_{i=1}^{n} w_i (x_i - \bar{x}_w)^2}{\sum_{i=1}^{n} w_i}\]

A nulla variancia azt jelenti, hogy minden válaszadó ugyanazt válaszolta – ez erős jele egy rosszul kalibrált skálának vagy plafon-/padlóhatásnak.

A Balansor kérdésenkénti táblázata ezt a mutatót szórásként (σ, a variancia négyzetgyöke) jeleníti meg, így a kérdés saját mértékegységében olvasható – egy ingatlanérték-kérdés szóródása 787K-ként jelenik meg, nem dollárnégyzetben kifejezett varianciaként. A nyers variancia az API válaszában item_variance néven marad meg.

A kérdést kihagyó válaszadók aránya:

\[\text{NRR} = \frac{n_{\text{missing}}}{n_{\text{total}}}\]
Nemválaszolási arány Értelmezés
< 5% Normális
5–10% Figyelmet érdemel – kényes témára vagy félreértésre utalhat
10–20% Vizsgálja meg a megfogalmazást, az elhelyezést vagy a kényességet
> 20% Tervezze újra a kérdést

A kérdőív vége felé növekvő nemválaszolási arány jellemzően a válaszadók kifáradására utal.

Több alkérdést tartalmazó kérdéscsoportokra és mátrixkérdésekre, valamint az egyenes vonalú válaszadásnál az azonos válaszskálát használó önálló kérdésekre.

Azon válaszadók aránya, akik egy készlet minden tételére azonos választ adtak (Krosnick, 1991). Egy készlet lehet:

  • egy kérdéscsoport vagy mátrixkérdés alkérdései, vagy
  • három vagy több önálló kérdés ugyanazzal a vezérlővel és pontosan ugyanazokkal a válaszopciókkal (kódokkal és címkékkel), ha az opciók száma legalább három. Ezek Közös skála néven szerepelnek, a kérdésazonosítóikkal együtt. A kétopciós válaszkészlet, például az Igen/Nem, kimarad: egymással össze nem függő kérdések is folyton használják, így ha valaki mindegyikre „Nem”-mel válaszol, az semmit sem mond a figyelméről.

A válaszok csak egy készleten belül számítanak azonosnak: ha valaki a „részleg” kérdésnél az 1. opciót, a „távozás oka” kérdésnél szintén az 1. opciót választja, az nem egyenes vonalú válaszadás.

\[S = \frac{n_{\text{straightliners}}}{n_{\text{respondents}}}\]
Egyenes vonalú válaszadás Értelmezés
< 5% Normális – nincs teendő
5–15% Vizsgálandó – zavaros kérdéstervezésre utalhat
> 15% Strukturális probléma – tervezze újra a mátrixot, vagy iktasson be figyelemellenőrző kérdéseket

Azt méri, hogy egy csoport alkérdései ugyanazt a mögöttes konstruktumot mérik-e (Cronbach, 1951). Legalább 3 alkérdést igényel:

\[\alpha = \frac{k}{k-1} \left(1 - \frac{\sum_{i=1}^{k} \sigma^2_i}{\sigma^2_{\text{total}}}\right)\]

Ahol \(k\) az alkérdések száma, \(\sigma^2_i\) az \(i\). alkérdés varianciája, \(\sigma^2_{\text{total}}\) pedig az összpontszám varianciája.

\(\alpha\) Értelmezés
> 0,8 Jó belső konzisztencia
0,6–0,8 Elfogadható
< 0,6 Gyenge – az alkérdések valószínűleg nem ugyanazt a konstruktumot mérik
Mutató Képlet Aggályos küszöb
Átlagos normalizált entrópia A \(H_{\text{norm}}\) átlaga a kategoriális kérdésekre < 0,3
Egyetértési torzítás indexe Az „egyetért” válaszok aránya a Likert-tételekben > 0,6
Teljes nemválaszolási arány Az átlagos kihagyási arány az összes kérdésre > 0,15

Azt a rendszeres hajlamot tárja fel, hogy a válaszadó a tartalomtól függetlenül egyetért az állításokkal. Csak Likert-típusú egyetért/nem ért egyet skálákra számítjuk:

\[\text{ABI} = \frac{\sum \text{agree responses}}{\sum \text{total Likert responses}}\]

A 0,5 érték torzítás hiányát jelzi (kiegyensúlyozott egyetértés/egyet nem értés). A 0,6 feletti értékek arra utalnak, hogy a válaszadók a kérdés tartalmától függetlenül egyetértenek – fontolja meg fordított kódolású tételek beiktatását.

Azokat a válaszadókat azonosítja, akik szokatlanul gyorsan válaszoltak, ami figyelmetlen vagy automatizált válaszadásra utal (Kunz és Hadler, 2020):

\[\text{threshold} = \frac{\text{median answering time}}{3}\]

A küszöb alatti válaszadókat a rendszer túl gyors válaszadóként (speeder) jelöli meg.

Válaszadási idő, nem eltelt idő. Az Askalot minden kérdést külön mér – a megjelenítés pillanatától a válasz visszaérkezéséig –, és ezeket az időtartamokat összegzi. Ez nem a kitöltés létrehozása és beküldése közötti naptári idő, és a különbség lényeges: a hétfőn meghívott válaszadó, aki csütörtökön ül le kitölteni, három nap múlva végez, pedig teljesen szokásos tempóban válaszol. Mivel a küszöb a teljes csoport mediánja, néhány ilyen válaszadó annyira megemelné, hogy éppen azokat jelölné meg, akik egyszerűen nekiláttak és kitöltötték.

Az olyan kérdésen töltött idő, amelyről a válaszadó aztán visszalépett, továbbra is beszámít – valóban eltöltötte –, bár válaszkísérletnek nem számít.

Több jelzés összesítése (baseball-szabály)

Szekció neve “Több jelzés összesítése (baseball-szabály)”

Válaszadók kizárásához egyetlen minőségi ellenőrzést sem szabad önmagában használni. A baseball-szabály (CloudResearch, 2024) válaszadónként több független minőségi jelzést összesít, és csak akkor javasol kizárást, ha legalább 3 jelzés egyszerre fennáll:

Jelzés Kiváltó feltétel
Túl gyors válaszadó A válaszadási idő a medián 1/3-a alatt van
Egyenes vonalú válaszadó Azonos válaszok bármely egyenes vonalú válaszadási készlet minden tételére (kérdéscsoport, vagy három vagy több, közös skálájú kérdés)
Magas nemválaszolás A kérdések több mint 30%-a kihagyva

Ez a több mutatóra épülő megközelítés csökkenti a téves riasztásokat – azt a válaszadót, aki történetesen gyors, de átgondoltan válaszol, nem bünteti.


Megfigyelés Lehetséges ok Teendő
Alacsony entrópia (< 30%) egy kérdésnél Plafon-/padlóhatás vagy rosszul kiegyensúlyozott opciók Vizsgálja felül az opciók megfogalmazását; fontolja meg a domináns kategória felbontását
Magas nemválaszolás (> 15%) egy kérdésnél Zavaros vagy kényes kérdés Egyszerűsítse a megfogalmazást, vagy tegye egyértelművé, hogy a válasz nem kötelező
Magas egyenes vonalú válaszadás (> 15%) egy csoportban Figyelmetlen válaszadás vagy nem elkülönülő alkérdések Iktasson be figyelemellenőrző kérdéseket; változtassa a skála végpontjait; rövidítse a kérdéssort
Alacsony Cronbach-alfa (< 0,5) Az alkérdések nem ugyanazt a konstruktumot mérik Vizsgálja felül a tételek kiválasztását; fontolja meg a gyenge tételek elhagyását
Magas egyetértés (> 60%) Igenmondási torzítás Iktasson be fordított kódolású tételeket; változtassa a skála irányát
Alacsony opciókihasználtság (< 50%) A nem használt opciók feleslegesek Vonja össze vagy hagyja el a ritkán választott opciókat
Magas RMSE (> 0,05) Rendszeres mintavételi torzítás Igazítsa a kvótákat, bővítse a toborzási csatornákat
Nagy dizájnhatás (> 2,0) Szélsőséges súlykorrekciók Javítsa a minta egyensúlyát, mielőtt a súlyozásra támaszkodna
Megjelölt túl gyors válaszadók (az időmért csoport > 5%-a) Figyelmetlen vagy csak az ösztönzőért végzett válaszadás Vizsgálja felül az ösztönzési rendszert; iktasson be figyelemellenőrző kérdéseket
Több jelzéssel rendelkező válaszadók Egyszerre több minőségi probléma Zárja ki őket az elemzésből; dokumentálja a kizárási feltételeket

A minta reprezentativitása és a válaszminőség egymástól független dimenziók. Egy adatkészlet lehet kiválóan reprezentatív, mégis gyenge válaszminőségű, vagy fordítva.

Reprezentativitás Válaszminőség Értékelés
Jó Jó Az adatok alkalmasak elemzésre
Jó Gyenge A minta megfelel a célértékeknek, de a válaszok megbízhatatlanok – vizsgálja meg a mérési problémákat
Gyenge Jó A válaszok hitelesek, de a minta torzított – alkalmazzon súlyozást, vagy igazítsa a toborzást
Gyenge Gyenge Strukturális és mérési problémák egyszerre – foglalkozzon a toborzással és a kérdőív tervezésével is

A minőségelemzési keretrendszer a kérdőíves kutatás bevett módszertanára épül:

Keretrendszer Alkalmazás
Teljes felmérési hiba (Groves és mtsai, 2009) A mutatókat hibaforrás szerint rendezi: lefedettség, mintavétel, nemválaszolás, mérés
AAPOR-szabványok Válaszadási arányok számítása, végkimeneti kódok, minőségi jelentéstétel
Kish (1965) Dizájnhatás, effektív mintanagyság összetett mintavételi tervek mellett
Krosnick (1991) A satisficing elmélete – az egyenes vonalú válaszadás és az egyetértési hajlam mint a válaszminőség mutatói
Shannon (1948) Az információs entrópia mint a válaszok változatosságának mértéke
Cronbach (1951) Belső konzisztencia alapú megbízhatóság többtételes skáláknál
Hill (1973) A fajok (válaszok) effektív száma – Hill-számok a változatosság mérésére
Kalton és Flores-Cervantes (2003) Súlyozási módszerek – rake-súlyozás, kalibráció, súlycsonkítás
Kunz és Hadler (2020) Webes paraadatok – válaszidő-elemzés, a túl gyors válaszadók küszöbértékei
CloudResearch (2024) Több jelzés alapú minőségösszesítés – baseball-szabály a válaszadók kizárásához