Tovább a tartalomhoz
Tudástár

MI-támogatott eredményelemzés

A Balansor MI-elemzője egy lezárult kampányt két szempontból értékel, és a kettőt egyetlen ítéletbe foglalja:

  • Statisztikai adatminőség – a minta reprezentativitása (megfelel-e a minta a célsokaságnak?) és a válaszminőség (informatív, változatos válaszokat hoznak-e a kérdések?).
  • A kutatási célok megválaszolhatósága – valóban megválaszolják-e az összegyűjtött adatok a projekt kutatási tanulmányában rögzített kutatási kérdéseket, KPI-ket és sikerkritériumokat? Ez zárja be azt a cél → KPI → kérdés láncot, amely a kérdőív megtervezésekor jött létre: minden kutatási cél megad egy KPI-t és annak mérési módját, az Elemző pedig azt ellenőrzi, hogy az egyes célokhoz gyűjtött adatok elegendők-e a következtetés levonásához.

Az első szempontot az Elemző egy Minőségelemző, a másodikat egy Kutatásértékelő alügynökre bízza, majd a kettőt gyakorlati ajánlásokat tartalmazó, strukturált jelentésben foglalja össze.

A válaszok összegyűjtése után a kutatóknak két alapvető kérdésre kell választ kapniuk, mielőtt megbízhatnának az adataikban:

  1. Reprezentatív-e a minta? – Megfelelnek-e a válaszadók demográfiai jellemzői a mintavételi stratégiában meghatározott célsokaságnak?
  2. Megbízhatók-e a válaszok? – Valódi odafigyelést mutatnak-e a válaszmintázatok, vagy inkább a minimális erőfeszítésre törekvő válaszadás (satisficing), a figyelmetlenség, illetve a torzítás jelei láthatók?

A Balansor mindkét kérdésre számított mutatókkal és egy MI-elemző ügynökkel ad választ, amely módszertani kontextusban értelmezi az eredményeket.

BemenetMinőségi mutatókKimenetBronz adatkészletMintavételi stratégiaA minta reprezentativitásaVálaszminőségEzüst adatkészletElemzői jelentés nyitott válaszok kódolása, majd súlyozás

A platform két dimenzióban számít minőségi mutatókat, a kérdőíves módszertan bevett eredményeire támaszkodva (Groves, Kish, Krosnick, Shannon, Cronbach):

Dimenzió Fő mutatók
A minta reprezentativitása RMSE, MAE, khi-négyzet, maximális eltérés, összetett minőségi pontszám
Súlyozási diagnosztika Dizájnhatás (DEFF), effektív mintanagyság, a súlyok variációs együtthatója (CV), kitöltési arány
Válaszminőség Normalizált entrópia, egyenes vonalú válaszadás mutatója, Cronbach-alfa, egyetértési torzítás, túl gyors válaszadók felismerése, többszörös jelzések összesítése

A teljes definíciókat, a matematikai képleteket, az értelmezési küszöböket és a javasolt teendőket a Minőségi mutatók referenciája tartalmazza.


Az MI-elemző módszertani kontextusban értelmezi a minőségi mutatókat, összeveti az eredményeket a kutatási tanulmánnyal, és strukturált jelentést készít. Háttérfeladatként fut a Balansorban, az askalot_ai ügynökkeretrendszerre építve: a legfelső szintű elemző egy Minőségelemző alügynököt (statisztikai adatminőség) és egy Kutatásértékelő alügynököt (a kutatási célok megválaszolhatósága, a tanulmányon futó, írásvédett megválaszolhatósági láncon keresztül) irányít, majd egy Összegző fűzi össze megállapításaikat a végső jelentéssé.

KutatóBalansorRedisElemző ügynök Minőségelemzés indításaElőrehaladási sor létrehozásaAz összes minőségi adat előzetes lekéréseElőre kiszámított mutatók + tanulmánykontextus küldéseMinőségelemző – statisztikai minőségKutatásértékelő – megválaszolhatóság a tanulmányhoz mérveElőrehaladási események küldéseAz Összegző összefűzi a megállapításokatAz elkészült jelentés küldéseÁllapot lekérdezéseElőrehaladás kiolvasása Jelentés megjelenítéseA csomag reprezentativitási története,az aktuális stratégia, a kizárt halmaz,visszanyerés + dizájnhatás
  1. A hitelesítő adatok kiválasztása: az ügynök az MI-szolgáltató hitelesítő adatait a felhasználói beállításokból, a szervezet konfigurációjából vagy környezeti változókból veszi (ebben a sorrendben)
  2. Az adatok előzetes lekérése: az ügynök indulása előtt minden minőségi mutatót Pythonban, közvetlen repository- és elemzési hívásokkal gyűjt össze a rendszer, így az alügynökök kész adatokat értelmeznek, ahelyett hogy újra lekérnék őket
  3. Többkörös elemzés: az elemző az analyze-quality folyamatot futtatja, a munkát pedig a Minőségelemző és a Kutatásértékelő alügynökre bízza; a futást nem rögzített körszám, hanem a ténylegesen eltelt időre szabott időkorlát határolja, az időtúllépések elkerülésére pedig a szolgáltató natív streamingjét használja
  4. Az előrehaladás követése: a Redis Streams révén az előrehaladás a workerek között is követhető – a Gunicorn több workerfolyamata mellett is biztonságosan
  5. Jelentéskészítés: egy külön összegző ügynök foglalja strukturált Markdown-jelentésbe az alügynökök megállapításait
Tulajdonság Érték
Folyamat analyze-quality
Alügynökök Minőségelemző, Kutatásértékelő
Modellszint Magas (Claude Opus)
A futás korlátja A ténylegesen eltelt időre szabott időkorlát (többkörös – mozgástér mindkét alügynöki delegáláshoz és a szintézishez)
Tudásbázis Adatminőség-értékelés, súlyozási módszertan, válaszminőségi mutatók, a kutatási célok megválaszolhatósága

Az elemző skilljének törzse az AAPOR-szabványokból, Kish (1965), Groves és mtsai (2009), Kalton és Flores-Cervantes (2003), Krosnick (1991) munkáiból és az ESOMAR irányelveiből merített kérdőíves módszertani szakértelmet rögzíti – beleértve azokat a konkrét képleteket, küszöböket és döntési kereteket, amelyekkel a dizájnhatást, az egyenes vonalú válaszadás mutatóit, a túl gyors válaszadók jelzéseit és a többszörös jelzések összesítését értelmezi.

Az elemző öt szakaszból álló jelentést készít:

1. Vezetői összefoglaló 2–3 mondat: a minőség átfogó értékelése, a célra való alkalmasság és a legfontosabb ajánlás.

2. A minta reprezentativitása

  • Az átfogó minőségi pontszám értelmezéssel
  • Az RMSE és a MAE értéke kontextusba helyezve
  • Tényezőnkénti elemzés: mely demográfiai jellemzők felelnek meg a célértékeknek, és melyek térnek el
  • Konkrét számok: „A 18–24 évesek 8 százalékponttal felülreprezentáltak (32% tényleges, szemben a 24%-os célértékkel)”
  • Viszonyítási pontok: minden Csak viszonyítás beállítású kalibrációs célérték (egy külső adat, például egy választási eredmény vagy egy országos felmérésben mért válaszarány) külön megállapításként szerepel, a súlyozatlan és a súlyozott mintán mért eltérésével együtt – akkor is, ha a csomagnak nincs aktuális stratégiája

3. A súlyozás értékelése (ha van Ezüst adatkészlet)

  • A rake-súlyozással elért visszanyerés – a súlyozott átlagok hibájából mennyit szüntetett meg a súlyozás, hibaegységekben
  • A visszanyerés tényezőnkénti bontása, ugyanezekben az egységekben
  • Súlyozási diagnosztika: a dizájnhatás (DEFF), az effektív mintanagyság (ESS), a súlyok variációs együtthatója (CV) és a súlyarány értelmezése
  • Jelzés minden olyan tényezőnél, amely a súlyozás után romlott
  • A rake-súlyozás eredménye minden rake-súlyozott kalibrációs célértéknél, kizárólag a súlyok magyarázatára: azt mutatja, mennyire közelítette meg a rake-súlyozás a saját célját, és soha nem szerepel a minta minőségeként
  • Annak értékelése, hogy a súlyozás eredményes volt-e, vagy szerkezeti változtatásokra van szükség

4. Válaszminőség

  • A túl gyors válaszadók felismerése: a megjelöltek száma, a mintán belüli arányuk, a válaszidő mediánja
  • Egyenes vonalú válaszadás: a magas pontszámú (> 0,05) csoportok
  • Tételszintű nemválaszolás: azok a kérdések, amelyeknél a hiányzó válaszok aránya meghaladja az 5%-ot
  • Egyetértési torzítási index (ha vannak Likert-skálák)
  • Cronbach-alfa a csoportok megbízhatóságára
  • Az alacsony entrópiájú kérdések értelmezéssel
  • Több jelzést kapott válaszadók (baseball-szabály) – kizárási javaslat, ha vannak ilyenek

5. Fő megállapítások 3–5 konkrét, adatokon alapuló megállapítás. Mindegyik a minőségi mutatók tényleges számaira hivatkozik.

6. Ajánlások 2–4 rangsorolt, gyakorlati ajánlás. Mindegyik tartalmazza, mit kell változtatni, miért (egy konkrét megállapításhoz kötve), és milyen hatás várható.

A kérdőíves módszertanra támaszkodva

Szekció neve “A kérdőíves módszertanra támaszkodva”

Amikor az Elemző a teljes felmérési hibáról, a nemválaszolási torzításról, a rake-súlyozás konvergenciájáról, a dizájnhatásról vagy a válaszminőségi keretekről ír, a lektorált szakirodalomra alapozza a szöveget: Groves és mtsai a teljes felmérési hibáról, Bethlehem a nemválaszolásról, Heeringa a súlyozásról és a DEFF-ről, Schouten az adaptív adatfelvételi tervezésről, Krosnick a satisficingról. A hivatkozások megnevezik a tanulmányt és az évet, így a kutató közvetlenül ellenőrizheti az állítást. Lásd: Az MI-támogatott funkciók áttekintése → Lektorált módszertanra támaszkodva.


A minőségelemzés használata a Balansorban

Szekció neve “A minőségelemzés használata a Balansorban”

A minőségi adatok a csomag Áttekintés oldalán találhatók – kattintson egy csomag címére a folyamattáblán. Az oldal a reprezentativitás történetét mutatja be, amely egyetlen mintát követ végig a tervezési szándéktól az átadott eredményig:

  1. Stratégia → válaszadói kör – megvalósította-e a mintavétel a tervet? Válaszadói körönként egy mérés, ahhoz a stratégiához viszonyítva, amelyből a válaszadói kör készült
  2. Stratégia → tényleges – mennyire tért el a megvalósult minta a súlyozás előtt? A csomag aktuális stratégiájához viszonyítva, kampányonkénti bontással. Amíg nincs hozzárendelve stratégia, nincs stratégia jelzést mutat
  3. Stratégia → súlyozott – visszanyerte-e a súlyozás a tervet? Ugyanahhoz a stratégiához viszonyítva, a visszanyerés értékével és az ennek árán fellépő dizájnhatással együtt
  4. Válaszadói kör → tényleges – mit tett hozzá maga a terepmunka? A válaszadói körhöz viszonyítva, így más kérdésre felel, mint az előző három
  5. Válaszminőség – a válaszok változatossága, egyenes vonalú válaszadás, következetesség

Mellettük az Elemzési alap kártya tartalmazza a teljességi küszöböt, a kizárt halmaz blokkja pedig leírja, kiket távolított el a küszöb azokhoz képest, akiket megtartott. A reprezentativitási mérések tényezőnkénti bontásban mutatják a tényleges eloszlást és a céleloszlást. Ha a csomagnak nincs aktuális stratégiája, az oldal fejléce stratégiaválasztót kínál, hogy hozzárendelhessen egyet.

A teljes útmutatót – a két alappal együtt – az Adatelemzés: Minőségellenőrzés tartalmazza.

A Balansor Válaszminőség szakasza

Egy Demo csomag Válaszminőség szakasza: a négy összesítő kártya a kérdésenkénti mutatók táblázata fölött.

Négy összesítő kártyát jelenít meg:

Kártya Mutató Mit mutat
Válaszok változatossága Átlagos normalizált entrópia A válaszok átlagos változatossága a kategoriális kérdésekben
Egyetértési torzítás Torzítási index Az egyetértésre való hajlam a Likert-skálákban; N/A, ha a kérdőívben nincs Likert-tétel
Válaszadási arány A válaszolók átlagos aránya Az egyes kérdésekre válaszolók átlagos aránya
Elemzett kérdések Kérdések száma Az elemzett kérdések száma típus szerint (kategoriális, numerikus, szöveges)

Az összesítés alatt: a kérdésenkénti mutatók táblázata, az egyenes vonalú válaszadás észlelésének panelje (csoportokhoz), a belső konzisztencia panelje (Cronbach-alfa a legalább 3 altételt tartalmazó csoportokhoz), a túl gyors válaszadók felismerésének eredményei és a több jelzést kapott válaszadók összesítése.

  1. Nyissa meg a csomag Áttekintés oldalát (kattintson a címére a folyamattáblán), majd az MI-elemzés panelen kattintson az „MI-elemzés futtatása” gombra
  2. Az elemző ügynök a háttérben elindul – az előrehaladás valós időben frissül
  3. Amikor elkészül, megjelenik a strukturált, módszertanilag megalapozott értelmezést tartalmazó jelentés

Az elemzés a csomag teljes reprezentativitási történetét beolvassa – minden mérést, a kizárt halmazt, a visszanyerés értékét és a dizájnhatást –, így a jelentés pontosan azt értelmezi, amit Ön az oldalon lát. Ehhez származtatott Ezüst adatkészlet szükséges (a rendszer a jelentést az Ezüst adatkészlet rekordján tárolja); aktuális stratégia nem szükséges, mivel a történet kifejezett nincs stratégia állapotokat tartalmaz, amelyeket az elemző a valóságnak megfelelően értelmez, nem pedig pontozással kerüli meg őket.

Az MI-elemzéshez szükséges:

  • MI-szolgáltatói API-kulcs (a felhasználói profilban, a szervezet beállításaiban vagy a környezetben beállítva)
  • Portor MCP-végpont (a minőségi eszközök és a kampánykontextus eléréséhez)
  • Redis (az előrehaladás workerek közötti követéséhez)

Minden adatkészlet részletes oldala megnevezi a csomagot, amelyhez tartozik, és a csomag Áttekintés oldalára mutató linket tartalmaz – ott található a teljes reprezentativitási történet és az MI-elemzés.


A részletes értelmezési útmutatót – gyakori mintázatok, javasolt teendők és a kétdimenziós minőségi mátrix – a Minőségi mutatók referenciája: Az eredmények értelmezése tartalmazza.


A minőségelemzési eszközök az MCP-felületen keresztül programozott vagy MI-támogatott hozzáféréssel is elérhetők:

Eszköz Cél
get_bundle_quality A csomag reprezentativitási története: kiválasztás, terepen megvalósult és súlyozott minta (mind az aktuális stratégiához viszonyítva), a válaszadói körhöz viszonyított terepmunkaeltolódás, a válaszminőség, és hogy mit zárt ki a teljességi küszöb
compare_bundle_quality A Bronz és az Ezüst adatkészlet összevetése a csomag aktuális stratégiájához viszonyítva, a visszanyerés értékével – vagyis azzal, hogy a súlyozás mennyit hozott be a tervtől való eltérésből

A paraméterek teljes dokumentációját a Csomageszközök referenciája tartalmazza.