MI-támogatott eredményelemzés
A Balansor MI-elemzője egy lezárult kampányt két szempontból értékel, és a kettőt egyetlen ítéletbe foglalja:
- Statisztikai adatminőség – a minta reprezentativitása (megfelel-e a minta a célsokaságnak?) és a válaszminőség (informatív, változatos válaszokat hoznak-e a kérdések?).
- A kutatási célok megválaszolhatósága – valóban megválaszolják-e az összegyűjtött adatok a projekt kutatási tanulmányában rögzített kutatási kérdéseket, KPI-ket és sikerkritériumokat? Ez zárja be azt a cél → KPI → kérdés láncot, amely a kérdőív megtervezésekor jött létre: minden kutatási cél megad egy KPI-t és annak mérési módját, az Elemző pedig azt ellenőrzi, hogy az egyes célokhoz gyűjtött adatok elegendők-e a következtetés levonásához.
Az első szempontot az Elemző egy Minőségelemző, a másodikat egy Kutatásértékelő alügynökre bízza, majd a kettőt gyakorlati ajánlásokat tartalmazó, strukturált jelentésben foglalja össze.
Áttekintés
Szekció neve “Áttekintés”A válaszok összegyűjtése után a kutatóknak két alapvető kérdésre kell választ kapniuk, mielőtt megbízhatnának az adataikban:
- Reprezentatív-e a minta? – Megfelelnek-e a válaszadók demográfiai jellemzői a mintavételi stratégiában meghatározott célsokaságnak?
- Megbízhatók-e a válaszok? – Valódi odafigyelést mutatnak-e a válaszmintázatok, vagy inkább a minimális erőfeszítésre törekvő válaszadás (satisficing), a figyelmetlenség, illetve a torzítás jelei láthatók?
A Balansor mindkét kérdésre számított mutatókkal és egy MI-elemző ügynökkel ad választ, amely módszertani kontextusban értelmezi az eredményeket.
Minőségi mutatók
Szekció neve “Minőségi mutatók”A platform két dimenzióban számít minőségi mutatókat, a kérdőíves módszertan bevett eredményeire támaszkodva (Groves, Kish, Krosnick, Shannon, Cronbach):
| Dimenzió | Fő mutatók |
|---|---|
| A minta reprezentativitása | RMSE, MAE, khi-négyzet, maximális eltérés, összetett minőségi pontszám |
| Súlyozási diagnosztika | Dizájnhatás (DEFF), effektív mintanagyság, a súlyok variációs együtthatója (CV), kitöltési arány |
| Válaszminőség | Normalizált entrópia, egyenes vonalú válaszadás mutatója, Cronbach-alfa, egyetértési torzítás, túl gyors válaszadók felismerése, többszörös jelzések összesítése |
A teljes definíciókat, a matematikai képleteket, az értelmezési küszöböket és a javasolt teendőket a Minőségi mutatók referenciája tartalmazza.
Az MI-elemző ügynök
Szekció neve “Az MI-elemző ügynök”Az MI-elemző módszertani kontextusban értelmezi a minőségi mutatókat, összeveti az eredményeket a kutatási tanulmánnyal, és strukturált jelentést készít. Háttérfeladatként fut a Balansorban, az askalot_ai ügynökkeretrendszerre építve: a legfelső szintű elemző egy Minőségelemző alügynököt (statisztikai adatminőség) és egy Kutatásértékelő alügynököt (a kutatási célok megválaszolhatósága, a tanulmányon futó, írásvédett megválaszolhatósági láncon keresztül) irányít, majd egy Összegző fűzi össze megállapításaikat a végső jelentéssé.
Hogyan működik
Szekció neve “Hogyan működik”- A hitelesítő adatok kiválasztása: az ügynök az MI-szolgáltató hitelesítő adatait a felhasználói beállításokból, a szervezet konfigurációjából vagy környezeti változókból veszi (ebben a sorrendben)
- Az adatok előzetes lekérése: az ügynök indulása előtt minden minőségi mutatót Pythonban, közvetlen repository- és elemzési hívásokkal gyűjt össze a rendszer, így az alügynökök kész adatokat értelmeznek, ahelyett hogy újra lekérnék őket
- Többkörös elemzés: az elemző az
analyze-qualityfolyamatot futtatja, a munkát pedig a Minőségelemző és a Kutatásértékelő alügynökre bízza; a futást nem rögzített körszám, hanem a ténylegesen eltelt időre szabott időkorlát határolja, az időtúllépések elkerülésére pedig a szolgáltató natív streamingjét használja - Az előrehaladás követése: a Redis Streams révén az előrehaladás a workerek között is követhető – a Gunicorn több workerfolyamata mellett is biztonságosan
- Jelentéskészítés: egy külön összegző ügynök foglalja strukturált Markdown-jelentésbe az alügynökök megállapításait
Az ügynök profilja
Szekció neve “Az ügynök profilja”| Tulajdonság | Érték |
|---|---|
| Folyamat | analyze-quality |
| Alügynökök | Minőségelemző, Kutatásértékelő |
| Modellszint | Magas (Claude Opus) |
| A futás korlátja | A ténylegesen eltelt időre szabott időkorlát (többkörös – mozgástér mindkét alügynöki delegáláshoz és a szintézishez) |
| Tudásbázis | Adatminőség-értékelés, súlyozási módszertan, válaszminőségi mutatók, a kutatási célok megválaszolhatósága |
Az elemző skilljének törzse az AAPOR-szabványokból, Kish (1965), Groves és mtsai (2009), Kalton és Flores-Cervantes (2003), Krosnick (1991) munkáiból és az ESOMAR irányelveiből merített kérdőíves módszertani szakértelmet rögzíti – beleértve azokat a konkrét képleteket, küszöböket és döntési kereteket, amelyekkel a dizájnhatást, az egyenes vonalú válaszadás mutatóit, a túl gyors válaszadók jelzéseit és a többszörös jelzések összesítését értelmezi.
A jelentés felépítése
Szekció neve “A jelentés felépítése”Az elemző öt szakaszból álló jelentést készít:
1. Vezetői összefoglaló 2–3 mondat: a minőség átfogó értékelése, a célra való alkalmasság és a legfontosabb ajánlás.
2. A minta reprezentativitása
- Az átfogó minőségi pontszám értelmezéssel
- Az RMSE és a MAE értéke kontextusba helyezve
- Tényezőnkénti elemzés: mely demográfiai jellemzők felelnek meg a célértékeknek, és melyek térnek el
- Konkrét számok: „A 18–24 évesek 8 százalékponttal felülreprezentáltak (32% tényleges, szemben a 24%-os célértékkel)”
- Viszonyítási pontok: minden Csak viszonyítás beállítású kalibrációs célérték (egy külső adat, például egy választási eredmény vagy egy országos felmérésben mért válaszarány) külön megállapításként szerepel, a súlyozatlan és a súlyozott mintán mért eltérésével együtt – akkor is, ha a csomagnak nincs aktuális stratégiája
3. A súlyozás értékelése (ha van Ezüst adatkészlet)
- A rake-súlyozással elért visszanyerés – a súlyozott átlagok hibájából mennyit szüntetett meg a súlyozás, hibaegységekben
- A visszanyerés tényezőnkénti bontása, ugyanezekben az egységekben
- Súlyozási diagnosztika: a dizájnhatás (DEFF), az effektív mintanagyság (ESS), a súlyok variációs együtthatója (CV) és a súlyarány értelmezése
- Jelzés minden olyan tényezőnél, amely a súlyozás után romlott
- A rake-súlyozás eredménye minden rake-súlyozott kalibrációs célértéknél, kizárólag a súlyok magyarázatára: azt mutatja, mennyire közelítette meg a rake-súlyozás a saját célját, és soha nem szerepel a minta minőségeként
- Annak értékelése, hogy a súlyozás eredményes volt-e, vagy szerkezeti változtatásokra van szükség
4. Válaszminőség
- A túl gyors válaszadók felismerése: a megjelöltek száma, a mintán belüli arányuk, a válaszidő mediánja
- Egyenes vonalú válaszadás: a magas pontszámú (> 0,05) csoportok
- Tételszintű nemválaszolás: azok a kérdések, amelyeknél a hiányzó válaszok aránya meghaladja az 5%-ot
- Egyetértési torzítási index (ha vannak Likert-skálák)
- Cronbach-alfa a csoportok megbízhatóságára
- Az alacsony entrópiájú kérdések értelmezéssel
- Több jelzést kapott válaszadók (baseball-szabály) – kizárási javaslat, ha vannak ilyenek
5. Fő megállapítások 3–5 konkrét, adatokon alapuló megállapítás. Mindegyik a minőségi mutatók tényleges számaira hivatkozik.
6. Ajánlások 2–4 rangsorolt, gyakorlati ajánlás. Mindegyik tartalmazza, mit kell változtatni, miért (egy konkrét megállapításhoz kötve), és milyen hatás várható.
A kérdőíves módszertanra támaszkodva
Szekció neve “A kérdőíves módszertanra támaszkodva”Amikor az Elemző a teljes felmérési hibáról, a nemválaszolási torzításról, a rake-súlyozás konvergenciájáról, a dizájnhatásról vagy a válaszminőségi keretekről ír, a lektorált szakirodalomra alapozza a szöveget: Groves és mtsai a teljes felmérési hibáról, Bethlehem a nemválaszolásról, Heeringa a súlyozásról és a DEFF-ről, Schouten az adaptív adatfelvételi tervezésről, Krosnick a satisficingról. A hivatkozások megnevezik a tanulmányt és az évet, így a kutató közvetlenül ellenőrizheti az állítást. Lásd: Az MI-támogatott funkciók áttekintése → Lektorált módszertanra támaszkodva.
A minőségelemzés használata a Balansorban
Szekció neve “A minőségelemzés használata a Balansorban”A minőségi mutatók megtekintése
Szekció neve “A minőségi mutatók megtekintése”A minőségi adatok a csomag Áttekintés oldalán találhatók – kattintson egy csomag címére a folyamattáblán. Az oldal a reprezentativitás történetét mutatja be, amely egyetlen mintát követ végig a tervezési szándéktól az átadott eredményig:
- Stratégia → válaszadói kör – megvalósította-e a mintavétel a tervet? Válaszadói körönként egy mérés, ahhoz a stratégiához viszonyítva, amelyből a válaszadói kör készült
- Stratégia → tényleges – mennyire tért el a megvalósult minta a súlyozás előtt? A csomag aktuális stratégiájához viszonyítva, kampányonkénti bontással. Amíg nincs hozzárendelve stratégia, nincs stratégia jelzést mutat
- Stratégia → súlyozott – visszanyerte-e a súlyozás a tervet? Ugyanahhoz a stratégiához viszonyítva, a visszanyerés értékével és az ennek árán fellépő dizájnhatással együtt
- Válaszadói kör → tényleges – mit tett hozzá maga a terepmunka? A válaszadói körhöz viszonyítva, így más kérdésre felel, mint az előző három
- Válaszminőség – a válaszok változatossága, egyenes vonalú válaszadás, következetesség
Mellettük az Elemzési alap kártya tartalmazza a teljességi küszöböt, a kizárt halmaz blokkja pedig leírja, kiket távolított el a küszöb azokhoz képest, akiket megtartott. A reprezentativitási mérések tényezőnkénti bontásban mutatják a tényleges eloszlást és a céleloszlást. Ha a csomagnak nincs aktuális stratégiája, az oldal fejléce stratégiaválasztót kínál, hogy hozzárendelhessen egyet.
A teljes útmutatót – a két alappal együtt – az Adatelemzés: Minőségellenőrzés tartalmazza.
A Válaszminőség szakasz
Szekció neve “A Válaszminőség szakasz”
Egy Demo csomag Válaszminőség szakasza: a négy összesítő kártya a kérdésenkénti mutatók táblázata fölött.
Négy összesítő kártyát jelenít meg:
| Kártya | Mutató | Mit mutat |
|---|---|---|
| Válaszok változatossága | Átlagos normalizált entrópia | A válaszok átlagos változatossága a kategoriális kérdésekben |
| Egyetértési torzítás | Torzítási index | Az egyetértésre való hajlam a Likert-skálákban; N/A, ha a kérdőívben nincs Likert-tétel |
| Válaszadási arány | A válaszolók átlagos aránya | Az egyes kérdésekre válaszolók átlagos aránya |
| Elemzett kérdések | Kérdések száma | Az elemzett kérdések száma típus szerint (kategoriális, numerikus, szöveges) |
Az összesítés alatt: a kérdésenkénti mutatók táblázata, az egyenes vonalú válaszadás észlelésének panelje (csoportokhoz), a belső konzisztencia panelje (Cronbach-alfa a legalább 3 altételt tartalmazó csoportokhoz), a túl gyors válaszadók felismerésének eredményei és a több jelzést kapott válaszadók összesítése.
Az MI-elemzés futtatása
Szekció neve “Az MI-elemzés futtatása”- Nyissa meg a csomag Áttekintés oldalát (kattintson a címére a folyamattáblán), majd az MI-elemzés panelen kattintson az „MI-elemzés futtatása” gombra
- Az elemző ügynök a háttérben elindul – az előrehaladás valós időben frissül
- Amikor elkészül, megjelenik a strukturált, módszertanilag megalapozott értelmezést tartalmazó jelentés
Az elemzés a csomag teljes reprezentativitási történetét beolvassa – minden mérést, a kizárt halmazt, a visszanyerés értékét és a dizájnhatást –, így a jelentés pontosan azt értelmezi, amit Ön az oldalon lát. Ehhez származtatott Ezüst adatkészlet szükséges (a rendszer a jelentést az Ezüst adatkészlet rekordján tárolja); aktuális stratégia nem szükséges, mivel a történet kifejezett nincs stratégia állapotokat tartalmaz, amelyeket az elemző a valóságnak megfelelően értelmez, nem pedig pontozással kerüli meg őket.
Az MI-elemzéshez szükséges:
- MI-szolgáltatói API-kulcs (a felhasználói profilban, a szervezet beállításaiban vagy a környezetben beállítva)
- Portor MCP-végpont (a minőségi eszközök és a kampánykontextus eléréséhez)
- Redis (az előrehaladás workerek közötti követéséhez)
Az adatkészlet részletes oldala
Szekció neve “Az adatkészlet részletes oldala”Minden adatkészlet részletes oldala megnevezi a csomagot, amelyhez tartozik, és a csomag Áttekintés oldalára mutató linket tartalmaz – ott található a teljes reprezentativitási történet és az MI-elemzés.
Az eredmények értelmezése
Szekció neve “Az eredmények értelmezése”A részletes értelmezési útmutatót – gyakori mintázatok, javasolt teendők és a kétdimenziós minőségi mátrix – a Minőségi mutatók referenciája: Az eredmények értelmezése tartalmazza.
MCP-eszközök
Szekció neve “MCP-eszközök”A minőségelemzési eszközök az MCP-felületen keresztül programozott vagy MI-támogatott hozzáféréssel is elérhetők:
| Eszköz | Cél |
|---|---|
get_bundle_quality |
A csomag reprezentativitási története: kiválasztás, terepen megvalósult és súlyozott minta (mind az aktuális stratégiához viszonyítva), a válaszadói körhöz viszonyított terepmunkaeltolódás, a válaszminőség, és hogy mit zárt ki a teljességi küszöb |
compare_bundle_quality |
A Bronz és az Ezüst adatkészlet összevetése a csomag aktuális stratégiájához viszonyítva, a visszanyerés értékével – vagyis azzal, hogy a súlyozás mennyit hozott be a tervtől való eltérésből |
A paraméterek teljes dokumentációját a Csomageszközök referenciája tartalmazza.
Kapcsolódó dokumentáció
Szekció neve “Kapcsolódó dokumentáció”- Minőségi mutatók referenciája – A mutatók definíciói, képletei, értelmezési küszöbei
- Adatelemzési útmutató – A Bronz/Ezüst/Arany adatfolyam, súlyozás, exportálás
- Kampánykezelés – Mintavételi stratégiák és válaszadói körök
- Ügynöki válaszgenerálás – Szintetikus adatok az adatfolyam teszteléséhez
- MCP-csomageszközök – Programozott hozzáférés a csomag minőségi történetéhez