Minőségi mutatók – referencia
Az Askalot két, egymást kiegészítő dimenzióban értékeli a felmérési adatok minőségét, a teljes felmérési hiba (TSE) keretrendszerére (Groves és mtsai, 2009) építve:
- A minta reprezentativitása – Megfelel-e a válaszadók demográfiai összetétele a célpopulációnak? A lefedettségi és a nemválaszolási hibát számszerűsíti.
- Válaszminőség – Informatív, változatos válaszokat adnak-e a kérdések? A mérési hibát tárja fel.
Az adatok csak akkor alkalmasak elemzésre, ha mindkét dimenzió elfogadható.
A minta reprezentativitásának mutatói
Szekció neve “A minta reprezentativitásának mutatói”Ezek a mutatók a válaszadók tényleges demográfiai eloszlását vetik össze a mintavételi stratégiában meghatározott céleloszlásokkal.
RMSE (négyzetes középhiba)
Szekció neve “RMSE (négyzetes középhiba)”A minta- és a céleloszlás közötti teljes eltérés az összes demográfiai kategóriára.
Ahol \(a_i\) a tényleges arány, \(t_i\) pedig a célarány az \(i\). kategóriában.
A négyzetes tag miatt az RMSE a nagy eltéréseket erősebben bünteti, mint a sok kicsit. Egyetlen, a céltól 10 százalékponttal eltérő demográfiai kategória többel járul hozzá az RMSE-hez, mint öt kategória, amelyek mindegyike 2 ponttal tér el.
| RMSE | Értelmezés |
|---|---|
| < 0,02 | Kiváló – a minta szorosan követi a célértékeket |
| 0,02–0,05 | Elfogadható – kisebb eltérések, a súlyozásnak korrigálnia kell |
| 0,05–0,10 | Aggasztó – jelentős eltérések, vizsgálja meg az okokat |
| > 0,10 | Problémás – strukturális mintavételi gondok, a súlyozás nem biztos, hogy elég |
MAE (átlagos abszolút hiba)
Szekció neve “MAE (átlagos abszolút hiba)”Kategóriánkénti átlagos eltérés. A kiugró kategóriákra kevésbé érzékeny, mint az RMSE.
Ha a MAE jóval kisebb az RMSE-nél, egy-két kategória erősen eltér, a többi rendben van. Ha MAE ≈ RMSE, az eltérések egyenletesen oszlanak el.
Khi-négyzet próba
Szekció neve “Khi-négyzet próba”Azt vizsgálja, hogy a célértékektől megfigyelt eltérések statisztikailag szignifikánsak-e, vagy csak véletlen mintavételi zajról van szó.
Ahol \(O_i\) a megfigyelt gyakoriság, \(E_i\) pedig a célarányokból számított várt gyakoriság.
Maximális eltérés
Szekció neve “Maximális eltérés”A tényleges és a célarány közötti legnagyobb, egyetlen kategóriában mért különbség. A legproblémásabb demográfiai kategóriát azonosítja.
| Maximális eltérés | Értelmezés |
|---|---|
| < 0,05 | Minden kategória elfogadható tartományban van |
| 0,05–0,10 | Egy kategória mérsékelten eltér – valószínűleg súlyozással korrigálható |
| > 0,10 | Strukturális hiány – legalább egy csoport jelentősen alul- vagy felülreprezentált |
Összetett minőségi pontszám
Szekció neve “Összetett minőségi pontszám”Az összesített minőségi pontszám (0–1) az összetett hibából származik a score = 1 / (1 + 5 × error) képlettel, ahol a hiba az egyes tényezők RMSE-jének súlyozott átlaga (maximum szerinti aggregálásnál a legrosszabb tényezőé). A magasabb érték a jobb. A Balansor minőségi felülete pontosan ennél a két küszöbnél színezi a pontszámot:
| Pontszám | Minősítés | Értelmezés |
|---|---|---|
| > 0,8 | Jó (zöld) | A minta megfelelően képviseli a célpopulációt |
| 0,6–0,8 | Elfogadható (sárga) | Néhány tényező eltér a céltól, súlyozás javasolt |
| < 0,6 | Gyenge (piros) | Jelentős reprezentativitási problémák – vizsgálja meg a kiváltó okokat, mielőtt a becslésekre támaszkodna |
Súlyozási diagnosztika
Szekció neve “Súlyozási diagnosztika”Miután a rake-súlyozás (iteratív arányos illesztés) előállított egy Ezüst adatkészletet, ezek a mutatók azt értékelik, hogy a súlyozás javította-e a reprezentativitást anélkül, hogy túlzott varianciát vitt volna be.
Dizájnhatás (DEFF)
Szekció neve “Dizájnhatás (DEFF)”Az egyenlőtlen súlyozásból eredő varianciatöbblet (Kish, 1965):
Ahol \(\text{CV}_w\) a súlyok relatív szórása (variációs együtthatója).
| DEFF | Értelmezés |
|---|---|
| < 1,5 | Minimális hatás a pontosságra |
| 1,5–2,0 | Mérsékelt pontosságvesztés – a legtöbb vizsgálatnál elfogadható |
| 2,0–3,0 | Jelentős – tekintse át a súlyok eloszlását |
| > 3,0 | Súlyos – a súlyozás strukturális mintaproblémákat próbál ellensúlyozni |
Effektív mintanagyság
Szekció neve “Effektív mintanagyság”Az a súlyozatlan mintanagyság, amely a dizájnhatás figyelembevétele után egyenértékű:
| \(n_{\text{eff}} / n\) | Értelmezés |
|---|---|
| > 0,80 | Minimális hatékonyságvesztés a súlyozás miatt |
| 0,50–0,80 | Mérsékelt veszteség – egyes csoportok erősen súlyozottak |
| < 0,50 | Súlyos veszteség – a súlyozás túl agresszíven kompenzál |
A súlyok minőségének viszonyítási értékei
Szekció neve “A súlyok minőségének viszonyítási értékei”| Mutató | Jó | Elfogadható | Problémás |
|---|---|---|---|
| A súlyok relatív szórása | < 0,5 | 0,5–1,0 | > 1,0 |
| Legnagyobb/legkisebb súly aránya | < 4:1 | 4:1–6:1 | > 6:1 |
Kitöltési arány
Szekció neve “Kitöltési arány”A kampány teljes kitöltéseinek aránya a kampányhoz létrehozott összes kitöltéshez képest, akár kaptak meghívót, akár nem. Teljes az a kitöltés, amelyben a válaszadó a rá vonatkozó kérdések több mint 80%-ára válaszolt – ugyanaz a szabály, amelyet a Befejezés módonként is használ. Az a válaszadó, aki néhány kérdés után a Befejezés gombra kattintott, kitöltése lezárult, de nem számít teljesnek. Átfogó képet ad a terepmunka sikerességéről és a lehetséges nemválaszolási torzításról.
Befejezés módonként
Szekció neve “Befejezés módonként”A kampány kitöltési aránya minden létrehozott kitöltéssel oszt, akár kaptak meghívót, akár nem, így a csatornák összehasonlítására nem alkalmas: a válaszadó csak a kezdéskor választ a weboldal és az MI-asszisztense között. A módonkénti befejezés ezért a megkezdett kitöltésekkel – azokkal, amelyekben megjelent az első kérdés – oszt, külön-külön minden kitöltési módra (direct, ai_assisted, field_interview). A beleegyezési képernyő nem kérdés, így az a válaszadó, aki az MI-asszisztensben beleegyezett, de tovább nem jutott, nem számít megkezdett kitöltésnek.
Minden megkezdett kitöltést az AAPOR tételküszöbei alapján sorolunk be aszerint, hogy a válaszadó a rá vonatkozó kérdések mekkora részére válaszolt:
| Végkimenet | Megválaszolt arány |
|---|---|
| Teljes | 80% felett |
| Részleges | 50% és 80% között |
| Megszakított | 50% alatt |
A rá vonatkozó kérdések azok, amelyekhez a válaszadó eljutott, valamint azok, amelyek még előtte állnak az útvonalán, és amelyek megjelenítési feltétele igaz, vagy az eddigi válaszokból még nem dönthető el. A szabályosan véget ért kitöltést így a saját teljessége méri, a megszakítottat pedig az, ami még előtte állt. A megjegyzések nem tartalmaznak választ, és soha nem számítanak bele.
A kitöltési arány a teljes és az összes megkezdett kitöltés hányadosa, 95%-os Wilson-féle konfidenciaintervallummal. Az a mód, amelyben 30-nál kevesebb a megkezdett kitöltés, csak a darabszámokat közli arány nélkül, mert a néhány esetből számított arány eredménynek tűnik, holott zaj.
A válaszminőség mutatói
Szekció neve “A válaszminőség mutatói”Ezek a mutatók magukat a felmérési válaszokat értékelik – a mintavételi stratégiától függetlenül.
Kérdésenkénti mutatók
Szekció neve “Kérdésenkénti mutatók”Normalizált entrópia (kategoriális kérdések)
Szekció neve “Normalizált entrópia (kategoriális kérdések)”A rádiógombos és legördülő listás kérdések válaszainak változatosságát méri. A Shannon-entrópián (Shannon, 1948) alapul, 0–1 skálára normalizálva:
Ahol \(p_i\) az \(i\). opciót választó válaszok aránya, \(k\) pedig a rendelkezésre álló opciók száma.
| \(H_{\text{norm}}\) | Értelmezés |
|---|---|
| > 0,7 | Jó változatosság – a válaszok eloszlanak az opciók között |
| 0,3–0,7 | Mérsékelt – egyes opciók dominálnak |
| < 0,3 | Alacsony változatosság – a válaszok néhány opcióra koncentrálódnak (plafon-/padlóhatás) |
Az 1,0 érték tökéletesen egyenletes eloszlást jelent. A 0,0-hoz közelítő érték azt, hogy szinte minden válaszadó ugyanazt az opciót választotta.
A válaszok effektív száma
Szekció neve “A válaszok effektív száma”Az elsőrendű Hill-szám (Hill, 1973) – hány opció hordoz érdemi súlyt:
Ha egy kérdésnek 5 opciója van, de \(N_{\text{eff}} = 2.1\), akkor csak nagyjából 2 opció kap számottevő választ. A nyers entrópiánál szemléletesebb a kihasználatlan válaszskálák azonosítására.
Opciókihasználtsági arány
Szekció neve “Opciókihasználtsági arány”A rendelkezésre álló opciók azon része, amely legalább egy választ kapott:
A 0,5 alatti arány arra utal, hogy egyes opciók feleslegesek, és összevonhatók vagy elhagyhatók.
Tételvariancia (numerikus kérdések)
Szekció neve “Tételvariancia (numerikus kérdések)”A válaszok szóródása beviteli mezős, csúszkás és tartománykérdéseknél; a tartományválasz mindkét végét (a legkisebb és a legnagyobb értéket) külön méri. Súlyozott (Ezüst) adatkészleteknél súlyozott varianciát használ:
A nulla variancia azt jelenti, hogy minden válaszadó ugyanazt válaszolta – ez erős jele egy rosszul kalibrált skálának vagy plafon-/padlóhatásnak.
A Balansor kérdésenkénti táblázata ezt a mutatót szórásként (σ, a variancia négyzetgyöke) jeleníti meg, így a kérdés saját mértékegységében olvasható – egy ingatlanérték-kérdés szóródása 787K-ként jelenik meg, nem dollárnégyzetben kifejezett varianciaként. A nyers variancia az API válaszában item_variance néven marad meg.
Tételszintű nemválaszolási arány
Szekció neve “Tételszintű nemválaszolási arány”A kérdést kihagyó válaszadók aránya:
| Nemválaszolási arány | Értelmezés |
|---|---|
| < 5% | Normális |
| 5–10% | Figyelmet érdemel – kényes témára vagy félreértésre utalhat |
| 10–20% | Vizsgálja meg a megfogalmazást, az elhelyezést vagy a kényességet |
| > 20% | Tervezze újra a kérdést |
A kérdőív vége felé növekvő nemválaszolási arány jellemzően a válaszadók kifáradására utal.
Csoportmutatók
Szekció neve “Csoportmutatók”Több alkérdést tartalmazó kérdéscsoportokra és mátrixkérdésekre, valamint az egyenes vonalú válaszadásnál az azonos válaszskálát használó önálló kérdésekre.
Egyenes vonalú válaszadás mutatója
Szekció neve “Egyenes vonalú válaszadás mutatója”Azon válaszadók aránya, akik egy készlet minden tételére azonos választ adtak (Krosnick, 1991). Egy készlet lehet:
- egy kérdéscsoport vagy mátrixkérdés alkérdései, vagy
- három vagy több önálló kérdés ugyanazzal a vezérlővel és pontosan ugyanazokkal a válaszopciókkal (kódokkal és címkékkel), ha az opciók száma legalább három. Ezek Közös skála néven szerepelnek, a kérdésazonosítóikkal együtt. A kétopciós válaszkészlet, például az Igen/Nem, kimarad: egymással össze nem függő kérdések is folyton használják, így ha valaki mindegyikre „Nem”-mel válaszol, az semmit sem mond a figyelméről.
A válaszok csak egy készleten belül számítanak azonosnak: ha valaki a „részleg” kérdésnél az 1. opciót, a „távozás oka” kérdésnél szintén az 1. opciót választja, az nem egyenes vonalú válaszadás.
| Egyenes vonalú válaszadás | Értelmezés |
|---|---|
| < 5% | Normális – nincs teendő |
| 5–15% | Vizsgálandó – zavaros kérdéstervezésre utalhat |
| > 15% | Strukturális probléma – tervezze újra a mátrixot, vagy iktasson be figyelemellenőrző kérdéseket |
Cronbach-alfa (belső konzisztencia)
Szekció neve “Cronbach-alfa (belső konzisztencia)”Azt méri, hogy egy csoport alkérdései ugyanazt a mögöttes konstruktumot mérik-e (Cronbach, 1951). Legalább 3 alkérdést igényel:
Ahol \(k\) az alkérdések száma, \(\sigma^2_i\) az \(i\). alkérdés varianciája, \(\sigma^2_{\text{total}}\) pedig az összpontszám varianciája.
| \(\alpha\) | Értelmezés |
|---|---|
| > 0,8 | Jó belső konzisztencia |
| 0,6–0,8 | Elfogadható |
| < 0,6 | Gyenge – az alkérdések valószínűleg nem ugyanazt a konstruktumot mérik |
Adatkészlet-szintű összesítők
Szekció neve “Adatkészlet-szintű összesítők”| Mutató | Képlet | Aggályos küszöb |
|---|---|---|
| Átlagos normalizált entrópia | A \(H_{\text{norm}}\) átlaga a kategoriális kérdésekre | < 0,3 |
| Egyetértési torzítás indexe | Az „egyetért” válaszok aránya a Likert-tételekben | > 0,6 |
| Teljes nemválaszolási arány | Az átlagos kihagyási arány az összes kérdésre | > 0,15 |
Egyetértési torzítás indexe
Szekció neve “Egyetértési torzítás indexe”Azt a rendszeres hajlamot tárja fel, hogy a válaszadó a tartalomtól függetlenül egyetért az állításokkal. Csak Likert-típusú egyetért/nem ért egyet skálákra számítjuk:
A 0,5 érték torzítás hiányát jelzi (kiegyensúlyozott egyetértés/egyet nem értés). A 0,6 feletti értékek arra utalnak, hogy a válaszadók a kérdés tartalmától függetlenül egyetértenek – fontolja meg fordított kódolású tételek beiktatását.
Túl gyors válaszadók felismerése
Szekció neve “Túl gyors válaszadók felismerése”Azokat a válaszadókat azonosítja, akik szokatlanul gyorsan válaszoltak, ami figyelmetlen vagy automatizált válaszadásra utal (Kunz és Hadler, 2020):
A küszöb alatti válaszadókat a rendszer túl gyors válaszadóként (speeder) jelöli meg.
Válaszadási idő, nem eltelt idő. Az Askalot minden kérdést külön mér – a megjelenítés pillanatától a válasz visszaérkezéséig –, és ezeket az időtartamokat összegzi. Ez nem a kitöltés létrehozása és beküldése közötti naptári idő, és a különbség lényeges: a hétfőn meghívott válaszadó, aki csütörtökön ül le kitölteni, három nap múlva végez, pedig teljesen szokásos tempóban válaszol. Mivel a küszöb a teljes csoport mediánja, néhány ilyen válaszadó annyira megemelné, hogy éppen azokat jelölné meg, akik egyszerűen nekiláttak és kitöltötték.
Az olyan kérdésen töltött idő, amelyről a válaszadó aztán visszalépett, továbbra is beszámít – valóban eltöltötte –, bár válaszkísérletnek nem számít.
Több jelzés összesítése (baseball-szabály)
Szekció neve “Több jelzés összesítése (baseball-szabály)”Válaszadók kizárásához egyetlen minőségi ellenőrzést sem szabad önmagában használni. A baseball-szabály (CloudResearch, 2024) válaszadónként több független minőségi jelzést összesít, és csak akkor javasol kizárást, ha legalább 3 jelzés egyszerre fennáll:
| Jelzés | Kiváltó feltétel |
|---|---|
| Túl gyors válaszadó | A válaszadási idő a medián 1/3-a alatt van |
| Egyenes vonalú válaszadó | Azonos válaszok bármely egyenes vonalú válaszadási készlet minden tételére (kérdéscsoport, vagy három vagy több, közös skálájú kérdés) |
| Magas nemválaszolás | A kérdések több mint 30%-a kihagyva |
Ez a több mutatóra épülő megközelítés csökkenti a téves riasztásokat – azt a válaszadót, aki történetesen gyors, de átgondoltan válaszol, nem bünteti.
Az eredmények értelmezése
Szekció neve “Az eredmények értelmezése”Gyakori mintázatok és teendők
Szekció neve “Gyakori mintázatok és teendők”| Megfigyelés | Lehetséges ok | Teendő |
|---|---|---|
| Alacsony entrópia (< 30%) egy kérdésnél | Plafon-/padlóhatás vagy rosszul kiegyensúlyozott opciók | Vizsgálja felül az opciók megfogalmazását; fontolja meg a domináns kategória felbontását |
| Magas nemválaszolás (> 15%) egy kérdésnél | Zavaros vagy kényes kérdés | Egyszerűsítse a megfogalmazást, vagy tegye egyértelművé, hogy a válasz nem kötelező |
| Magas egyenes vonalú válaszadás (> 15%) egy csoportban | Figyelmetlen válaszadás vagy nem elkülönülő alkérdések | Iktasson be figyelemellenőrző kérdéseket; változtassa a skála végpontjait; rövidítse a kérdéssort |
| Alacsony Cronbach-alfa (< 0,5) | Az alkérdések nem ugyanazt a konstruktumot mérik | Vizsgálja felül a tételek kiválasztását; fontolja meg a gyenge tételek elhagyását |
| Magas egyetértés (> 60%) | Igenmondási torzítás | Iktasson be fordított kódolású tételeket; változtassa a skála irányát |
| Alacsony opciókihasználtság (< 50%) | A nem használt opciók feleslegesek | Vonja össze vagy hagyja el a ritkán választott opciókat |
| Magas RMSE (> 0,05) | Rendszeres mintavételi torzítás | Igazítsa a kvótákat, bővítse a toborzási csatornákat |
| Nagy dizájnhatás (> 2,0) | Szélsőséges súlykorrekciók | Javítsa a minta egyensúlyát, mielőtt a súlyozásra támaszkodna |
| Megjelölt túl gyors válaszadók (az időmért csoport > 5%-a) | Figyelmetlen vagy csak az ösztönzőért végzett válaszadás | Vizsgálja felül az ösztönzési rendszert; iktasson be figyelemellenőrző kérdéseket |
| Több jelzéssel rendelkező válaszadók | Egyszerre több minőségi probléma | Zárja ki őket az elemzésből; dokumentálja a kizárási feltételeket |
Két dimenzió, egy kép
Szekció neve “Két dimenzió, egy kép”A minta reprezentativitása és a válaszminőség egymástól független dimenziók. Egy adatkészlet lehet kiválóan reprezentatív, mégis gyenge válaszminőségű, vagy fordítva.
| Reprezentativitás | Válaszminőség | Értékelés |
|---|---|---|
| Jó | Jó | Az adatok alkalmasak elemzésre |
| Jó | Gyenge | A minta megfelel a célértékeknek, de a válaszok megbízhatatlanok – vizsgálja meg a mérési problémákat |
| Gyenge | Jó | A válaszok hitelesek, de a minta torzított – alkalmazzon súlyozást, vagy igazítsa a toborzást |
| Gyenge | Gyenge | Strukturális és mérési problémák egyszerre – foglalkozzon a toborzással és a kérdőív tervezésével is |
Módszertani alapok
Szekció neve “Módszertani alapok”A minőségelemzési keretrendszer a kérdőíves kutatás bevett módszertanára épül:
| Keretrendszer | Alkalmazás |
|---|---|
| Teljes felmérési hiba (Groves és mtsai, 2009) | A mutatókat hibaforrás szerint rendezi: lefedettség, mintavétel, nemválaszolás, mérés |
| AAPOR-szabványok | Válaszadási arányok számítása, végkimeneti kódok, minőségi jelentéstétel |
| Kish (1965) | Dizájnhatás, effektív mintanagyság összetett mintavételi tervek mellett |
| Krosnick (1991) | A satisficing elmélete – az egyenes vonalú válaszadás és az egyetértési hajlam mint a válaszminőség mutatói |
| Shannon (1948) | Az információs entrópia mint a válaszok változatosságának mértéke |
| Cronbach (1951) | Belső konzisztencia alapú megbízhatóság többtételes skáláknál |
| Hill (1973) | A fajok (válaszok) effektív száma – Hill-számok a változatosság mérésére |
| Kalton és Flores-Cervantes (2003) | Súlyozási módszerek – rake-súlyozás, kalibráció, súlycsonkítás |
| Kunz és Hadler (2020) | Webes paraadatok – válaszidő-elemzés, a túl gyors válaszadók küszöbértékei |
| CloudResearch (2024) | Több jelzés alapú minőségösszesítés – baseball-szabály a válaszadók kizárásához |
Kapcsolódó dokumentáció
Szekció neve “Kapcsolódó dokumentáció”- Adatelemzési útmutató – Bronz/Ezüst/Arany folyamat, súlyozás, exportálás
- MI-támogatott eredményelemzés – MI-elemző ügynök automatikus minőségi jelentésekhez
- MCP-adatkészleteszközök – Programozott hozzáférés a minőségi mutatókhoz
- Kampánykezelés – Mintavételi stratégiák és válaszadói körök