• Legfontosabb
  • Mód
  • Amikor az online felmérés válaszadói csak „válasszanak ki egy alkalmazást”

Amikor az online felmérés válaszadói csak „válasszanak ki egy alkalmazást”

Bárki, aki részt vett egy felmérésben, valószínűleg lehetőséget kapott arra, hogy egy kérdés megválaszolásakor „ellenőrizze az összes alkalmazhatót”. Az utasítást könnyűség és hatékonyság miatt széles körben használják az adatgyűjtésben. Az online felmérési kérdőív megtervezésekor azonban többféleképpen lehet megkérni a válaszadókat, hogy válasszák ki a sorozat melyik lehetőségei vonatkoznak rájuk.


A közvélemény-kutató megmutathatja a válaszadóknak egy listát, és megkérheti őket, hogy válasszák ki az összes megfelelőt,vagya közvélemény-kutató külön megkérdezheti az egyes lehetőségeket. A két módszer nem mindig eredményez azonos eredményt. Tanulmányok többször rámutattak arra, hogy több megkérdezett válaszadó támogatja az „opciót” választ az utóbbi megközelítés, az úgynevezett „kényszerű választás” alapján, amelyek időnként nagyon eltérő becsléseket eredményeznek. Korábbi tanulmányok azonban nem voltak egyértelműek arról, hogy melyik kérdésformátum adja a pontosabb becsléseket.1

A Pew Research Center nemzeti online American Trends Panel (ATP) segítségével egy nagy, randomizált kísérletet végzett, összehasonlítva ezt a két kérdésformátumot. A kísérlet egy felmérés része volt, amelyet július 30. és augusztus között végeztek. 2018. 12. 12, 4581 amerikai felnőtt között. A válaszadóktól azt kérdezték, hogy ők vagy a közvetlen családjukban élő személyek tapasztaltak-e különféle nemkívánatos eseményeket (például drog- vagy alkoholfüggőség miatt kezelték-e őket, vagy elvesztették-e otthonukat a kizárás miatt). A tanulmány a válaszadók felét véletlenszerűen választotta ki az összes választható lista alkalmazásával, míg a másik fele kényszer választással válaszolt igen / nem kérdésekre.

Az ilyen jellegű kutatások kihívása annak meghatározása, hogy melyik mérés kapja „jobbá”. Az a kísérlet, amely alátámasztja ezt a kísérletet, azt mutatja, hogy ha nemkívánatos, de viszonylag gyakori eseményekről van szó, akkor a válaszadók nagyobb valószínűséggel jelentik be a tényleges tapasztalataikat, mintsem azokat, amelyeket még nem tapasztaltak. Például hihetőbb, hogy valaki, akit szenvedélybetegséggel kezeltek, elutasítaná a közvélemény-kutatónak a tapasztalatairól való beszámolást, mint az, hogy valaki, akit még soha nem kezeltek függőség miatt, jelentené, hogy volt. E tanulmány szempontjából tehát feltételezhető, hogy a magasabb áldozattá válási becslések pontosabb válaszokat tükröznek.2

Az új tanulmány meggyőző bizonyítékot talált arra, hogy a kényszer választással kapcsolatos kérdések pontosabb eredményeket hoznak, mint az összes alkalmazható listák. A randomizált kísérlet során a panelistáktól először azt kérdezték: 'Az alábbiak közül, ha van ilyen, mi történt veled személyesen?' és hat elemet mutattak nekik. Később a kérdőívben ezt követően megkérdezték tőlük: „Ha a következők bármelyike ​​történt veled VAGY valakivel a családodban?” és egy másik, hat elemből álló készletet mutattak nekik. Minden panelist véletlenszerűen kiosztottak, hogy mindkét kérdést megválaszolják az összes alkalmazható listaként vagy kényszer választott elemként. A tanulmány megállapította, hogy az áldozattá válás becslései folyamatosan magasabbak voltak a kényszerű választás formátumának alkalmazásával szemben az összes alkalmazandó kiválasztásával. Például az amerikai felnőttek becsült aránya, akik azt mondják, hogy az egészségbiztosító társaság személyesen megtagadta tőlük a fedezetet, 19% volt a kényszerű választás formátumát használva, szemben a 13% -kal a mindet alkalmazza. Az amerikai felnőttek becsült aránya, akik azt mondták, hogy ők vagy valaki a közvetlen családjukból elvesztették az állást, és megpróbáltak újabbat találni, 63% volt a kényszer-választás formátumot használva, szemben az 51% -kal, ha a kiválasztásnál az összes alkalmazható. Az áldozattá válás becslése átlagosan 8 százalékponttal volt magasabb az egyéni kényszer-választási kérdéseknél, mint az ellenőrzőlistán.


Míg a kérdés formátuma egyértelműen befolyásolta a jóváhagyási arányokat, csekély hatása volt arra, hogy mely elemeket támogatták leginkább vagy legkevésbé. A legtöbb és legkevésbé jóváhagyott elemek elrendezése azonos vagy nagyon hasonló a kényszerű választás és az összes kiválasztás alkalmazható formátumok között, az eltérések szinte teljes egészében a mintavételi hibák határán belül vannak. Ez azt jelenti, hogy ha csak a rangsorrend érdekel, akkor bármelyik formátum megfelel.

A Központ ATP-archívumának felhasználásával készült társelemzés megvizsgálta, hogy a primátus effektusok, egyfajta mérési hiba nagyobbak-e az összes kiválasztásra alkalmas kérdésnél, mint a kényszerű választás. Az elsőbbségi hatások arra utalnak, hogy egyes válaszadók hajlamosak arra, hogy a lista tetején előforduló bármelyik elemet gyakrabban támogassák, mint az alábbi elemeket. Példa az elsődleges hatásra az archív ATP-adatokban, amikor a válaszadóknak megmutatták a személyes tulajdonságok listáját, és felkérték őket, hogy válasszák ki azokat, amelyek jól leírják őket. A tulajdonságok felsorolásának sorrendje a válaszadók szerint változó volt. A válaszadók 57% -a támogatta azt a tulajdonságot, amelyik szerepel az első helyen, míg a válaszadók csak 42% -a támogatta az utolsóként felsorolt ​​tulajdonságot - ez 15 százalékpontos sorrendbeli hatás. Más kutatók megvizsgálták, hogy az ilyen sorrend hatásai nagyobbak-e az ellenőrzőlistáknál, mint az erőszakos választási formátumok esetében, és az eredmények vegyesek voltak.3

A 2015 novembere és 2018 augusztusa között lefolytatott 21 ATP-felmérés során az átlagosan kiválasztott kérdések esetében megfigyelt átlagos sorrendhatás 3 százalékpont volt, szemben a kényszer választással kapcsolatos kérdések 0 százalékpontjával. Bár ez azt sugallja, hogy az elsőbbségi hatások kissé nagyobbak lehetnek az ellenőrzőlistáknál, mint a kényszerű választással kapcsolatos kérdések, az általános kapcsolat gyenge. Az archív elemzés azért is jóval kísérletesebb, mint a fent említett kísérleti elemzés, mert az archív adatokban a kérdés formátumokat nem tesztelték fej-fej mellett. Számos más lehetséges magyarázat létezik a megfigyelt különbségekre, például bizonyos kérdéstémák hajlamosabbak az elsőbbségi hatásokra, és nagyobb valószínűséggel kerülnek kiválasztásra az összes alkalmazható kérdésként. Egy másik tényező lehet az a tendencia, hogy az összes kiválasztott kérdésnél több válaszlehetőség van a nagyobb hely miatt. A tanulmány megállapításai a legtöbb vagy legkevésbé támogatott elemek különbségeiről és az elsőbbségi hatások összhangban vannak a korábbi vizsgálatokkal.

Ezen elemzések eredményei alapján a Pew Research Center elfogadta azt az irányelvet, hogy az online felméréseinél kényszerített választási formátumot használjon a kiválasztani az összes alkalmazandó lista helyett.



A különböző kérdésformátumok előnyei és hátrányai

Az összes választható kérdés tömören van formázva, és így csak egyetlen képernyőt foglalhat el. Ezzel szemben a kényszer választású akkumulátorokhoz külön kérdésre van szükség minden elemhez, ami valószínűleg megköveteli a válaszadóktól, hogy vagy görgessenek lefelé, vagy kattintsanak több képernyőn. Ez megnöveli azt az időt, ameddig a válaszadók átélik ezeket a kérdéseket, ami megterhelő lehet.


Mindazonáltal, az összes alkalmazandó kérdés megkérdezi a válaszadókat, hogy egyszerre vegyék fontolóra az összes lehetőséget. A lista minden elemének pontos megválaszolása megfelelő fegyelmet igényelhet a válaszadóktól. Azok, akiknek nincs elegendő motivációjuk, „kielégíthetik”, vagy csak kielégítő módon reagálnak, nem pedig a lehető legpontosabb módon. Ha a válaszadók jelentős választékát kínálják, a válaszadók csak választhatnaknéhányamelyek inkább érvényesek, mint az összes.

A kényszer választással kapcsolatos kérdések - nevükből fakadóan - arra kényszerítik a válaszadókat, hogy minden tételre külön-külön adják meg a külön választ. Ez a formátum arra ösztönzi a válaszadókat, hogy mélyebben mérlegeljék az egyes lehetőségeket, főleg, hogy nem egyszerre zsonglőrködnek az összes többi lehetőséggel. Korábbi tanulmányok kimutatták, hogy a válaszadók nagyobb valószínűséggel támogatják az opciókat, ha kényszerített választásként mutatják be őket, mint akkor, amikor ugyanazokat az opciókat mutatják be, mint az összes alkalmazható választást.


A kényszerű választás kérdéseinek hívei azzal érvelnek, hogy ez a megnövekedett jóváhagyási arány annak a jele, hogy a formátum mélyebb kognitív feldolgozást vagy szembetűnőséget ösztönöz.4Lehetséges azonban, hogy ez a formátum sokkal érzékenyebb az elfogadásra adott válasz elfogultságára, amikor a válaszadók hajlamosak támogatni a kérdésben tett bármely állítást, annak tartalmától függetlenül.5.Ha az elégedettség jelenti a nagyobb problémát, akkor az összes kiválasztható formátumból származó becslések alacsonyabbak lehetnek, mint kellene (és így pontatlanabbak). Ha azonban az elfogadó torzítás dominál, akkor a kényszer-választási formátumokból származó becslések mesterségesen felnövekedhetnek.

Az elfogadás elfogultságának egyik bevált módja a közvetlenebb, konstrukció-specifikus megfogalmazás használata, ahol a válaszkategóriákat úgy alakítják ki, hogy közvetlenül relevánsak legyenek a feltett kérdéshez.6.Például az a kérdés, hogy a válaszadók számos tevékenységet végeztek-e vagy sem az elmúlt évben, megfogalmazhatja a válaszlehetőségeket: „Igen, megtettem ezt” és „Nem, nem tettem meg”, nem csupán „Igen”. és nem'.7

A nemkívánatos tapasztalatok jelentése magasabb a kényszerű választási kérdéseknél, mint az összes kiválasztás

A jóváhagyási arány - a felmérés azon válaszadóinak aránya, akik „igen” -re válaszolnak egy tételre - általában magasabbak a kényszerű választás formátumával, mint az összes alkalmazandó választás esetén. A kényszer választással kapcsolatos kérdések magasabb jóváhagyási arányát a válaszadók nagyobb gondossággal vagy nagyobb beleegyezéssel válaszolják?

A kérdés megválaszolására a Pew Research Center kísérletet végzett az American Trends panelen. Először azt kérdezték a panelistáktól, hogy személyesen Önnel melyik történt veled? és hat elemet mutattak nekik. Később a kérdőívben ezt követően megkérdezték tőlük: „Ha a következők bármelyike ​​történt veled VAGY valakivel a családodban?” és egy másik, hat elemből álló készletet mutattak nekik. Minden panelist véletlenszerűen kiosztottak, hogy mindkét kérdést megválaszolják az összes alkalmazható listaként vagy kényszer választott elemként. Azoknak a panelistáknak, akiknek megmutatták az összes alkalmazható választási listát, lehetőséget kaptak arra is, hogy jelöljenek be egy négyzetet a lista alján, miszerint egyik lehetőség sem vonatkozik rájuk.8.Azok a panelisták, akik kényszer-választott elemeket kaptak, konstrukció-specifikus megfogalmazást is kaptak válaszválasztásukhoz; vagyis az „Igen” és a „Nem” helyett a panelek az „Igen, megtörtént velem (vagy a családommal”) és a „Nem, nem velem (vagy a családomdal”) között választottak.

A személyes tapasztalatokkal kapcsolatos kérdésekben az áldozattá válás becslése folyamatosan magasabb az erőszakos választásnál, mint az összes kiválasztásnál

Mind a tizenkét elem esetében a kényszer-választási formátumnál magasabb volt a jóváhagyási arány, mint az összes kiválasztásnál. Például a kényszerválasztással rendelkező válaszadók 19% -a mondta azt, hogy az egészségbiztosító társaság személyesen megtagadta tőlük a fedezetet, szemben az összes választható válaszadó 13% -ával. Hasonlóképpen a kényszerválasztással rendelkező válaszadók 63% -a mondta azt, hogy ők vagy a családjukban valaki elvesztette az állását, és megpróbált másikat találni, míg az összes választható válaszadó csak 51% -a. A legnagyobb különbség abból adódott, hogy megkérdezték, hogy a válaszadókat személyesen túllicitálta-e szerelő vagy házi javítóműhely, 52% -uk a kényszerű választás esetén 36% -kal számolt be a tapasztalatról - 16 százalékpontos különbség .


Az áldozattá válás becslése folyamatosan magasabb a kényszerű választás esetén a családi tapasztalatokkal kapcsolatos kérdésekben

Az Acquiescence-válasz torzítás akkor következik be, amikor az ellenkezője helyett könnyebb vagy társadalmilag kívánatosabb egy válaszlehetőséget támogatni. A kísérletben részt vevő válaszadók várhatóan nem voltak hajlamosak gondatlanul jelenteni a potenciálisan kínos vagy elkeserítő eseményeket, és társadalmi ösztönzés sem volt erre.9.Ebben az esetben azoknak a tényezőknek kell lenniük, amelyek általában a beleegyezést ösztönzikcsüggednijóváhagyás. Függetlenül attól, hogy a kényszer-választás jóváhagyási aránya átlagosan 8 százalékponttal volt magasabb mind a tizenkét elemnél, mind az összes kiválasztásnál. Ez azt mondja nekünk, hogy a kényszerű választás formátumából származó becslések pontosabbak, míg az ellenőrzőlista formátum hajlamosabb arra, hogy a válaszadók csaknéhányamelyek érvényesek.

A kényszerű választás és az összes alkalmazandó választás hasonló rangsorolási sorrendet adott

Bizonyos alkalmazások esetében kevésbé fontos, hogy pontos becslések legyenek az akkumulátor vagy a lista minden egyes elemére vonatkozóan, mint annak pontos besorolása, hogy mely elemeket támogatták a legkevésbé. Arra a kérdésre, hogy az eseménysorozat közül melyik történt velük személyesen, a kérdésformátum nem változtatott a rangsorban. A szerelő vagy házi javítóműhely általi túlterhelés volt a leggyakrabban jelentett esemény mind a kényszer-választás, mind pedig az összes alkalmazandó feltétel között, miközben vesztegetés felkérése volt a legkevésbé jelentett esemény, az összes többi elem rangsor szerinti sorrendje a kérdés formátumától függetlenül egyetértés között.

Azok az események, amelyek a válaszadókkal vagy családtagjaikkal történtek, csődöt jelentettek be, és alkohol- vagy kábítószer-függőség miatt kezeltek, a két kísérleti körülmény között váltanak. A rangsor-váltás azonban vitathatatlanul a legjobb esetben is csekély következményekkel jár: 27% -uk csődöt jelentett és 28% -uk függőségi kezelést jelentett az összes kiválasztott alkalmazás mellett, szemben a kényszer-választás 37% -ával, illetve 32% -kal.

Egy hasonló kísérlet, amelyet az American Trends Panel korábban végzett, első pillantásra úgy tűnik, hogy ezt vitatja. A 2017. szeptember 14–28-án 4867 amerikai felnőtt bevonásával végzett ATP-felmérés során a válaszadókat véletlenszerűen osztották ki arra, hogy kényszer választás vagy az összes kiválasztás alkalmazható formátumban válaszoljanak meg egy csomó kérdésre. A válaszadóktól azt kérdeztük, hogy személyes vonások sora jól jellemzi-e őket. Ebben a kísérletben a „becsület és kötelesség az én alapértékeim” állítás a kényszer-választás formátumot használva a második helyre, a negyedik pedig az összes alkalmazható választási formátumra vonatkozik. Ennek a tételnek 34 százalékpontos különbsége volt a két feltétel között (78% kényszerített választással, 44% az összes alkalmazandó választással). Ennek a nagy különbségnek a pontos oka nem tisztázott, bár a felmérési szakirodalom azt mutatja, hogy a homályos, attitűd-fogalmak (mint például a tulajdonságok kísérletében) hajlamosabbak a kérdésformázási hatásokra, mint a konkrét, viselkedési koncepciók (mint például a korábban bemutatott áldozattá válási kísérletben) .

A homályos, szemléletbeli fogalmak jobban érzékenyek lehetnek a kérdéses megfogalmazási hatásokra

A rendelési effektusok általában hasonlóak a kényszerű választás és a mindent beilleszthető kérdések között

Ez a tanulmány azt is megvizsgálta, hogy az elsőbbségi hatások nagysága - az első felsorolt ​​lehetőség (ek) kiválasztásának tendenciája - különbözik-e az erőszakos választás és az összes alkalmazható választás kérdésben. A tanulmány kifejezetten az elsőbbségi hatásokat vette figyelembe, nem pedig más típusú rendelési hatásokat, mert a figyelembe vett felméréseket mind online végezték, a válaszadók elolvasták a kérdéseket. (Ezzel szemben a telefonos felmérés közvélemény-kutatói általában aggódnakújdonsághatásokat, mert a kérdező által elmondott legfrissebb opciót a legkönnyebb felidézni).

Az elsőbbségi hatások azt mutatják, hogy az emberek csupán „elég jó” módon reagálnak. Azok a válaszadók, akik nagyobb valószínűséggel választanak ki olyan elemeket, amelyek közelebb állnak a lista tetejéhez, azt jelezhetik, hogy csupán átfutották vagy nem olvasták végig az elemet. Szokásos gyakorlat a válaszadók sorrendjének véletlenszerű kiválasztása az elsőbbségi hatások minimalizálása érdekében. Egyes alkalmazásokban azonban a tételeket meghatározott sorrendben kell bemutatni. Aggodalomra ad okot, hogy az összes kiválasztott lista mindenekelőtt az elsőbbségi hatásokat ösztönzi.

A kísérleti adatok csak meggyőző bizonyítékot szolgáltatnak arra, hogy ez a helyzet. A kutatók az elsőbbségi hatásokat a jóváhagyási arány aláírt különbségeként számolták ki a válaszadók által az első pozícióban látott elemek és az utoljára látott elemek között. A fent tárgyalt családi áldozattá válási elem esetében az elsőbbségi hatások gyakorlatilag megegyeztek a kényszer-választás és az összes kiválasztás alkalmazható formátumok esetében (6,4, illetve 6,6 százalékpont). Ugyanez vonatkozott a személyes áldozattá válási elemre is: az erőszakos választási formátum 2,2 százalékpontos elsőbbségi, míg az összes választás formátum 2,6 százalékpontos hatást mutatott.

A kérdésformátum és az elsőbbségi hatások kapcsolatának kísérletei vegyesek voltak

A személyes tulajdonságokra vonatkozó akkumulátor esetében azonban az összes alkalmazható formátum nagy, 14,4 pontos elsőbbségi hatást eredményezett, míg a kényszer választás formátum nem mutatott elsőbbségi hatást (-1,4 százalékpont). Ugyanebből a felmérésből egy olyan elemzés, amely azt kérdezte a válaszadóktól, hogy a politikai vonások közül melyik jellemzi őket jól - például környezetvédőként vagy a leszbikus, meleg, biszexuális és transznemű (LMBT) emberek jogainak támogatójaként - elsőbbségi hatásokat váltott ki nulla mindkét kérdésformátumhoz.

Tekintettel arra, hogy az ebben a néhány tesztben megfigyelt sorrend-hatás vegyes volt, a kutatók nagyobb, bár nem kísérleti adatforrást kerestek. A kutatók 21 felmérést végeztek az ATP-n, 2015 novembere és 2018 augusztusa között, és 40 korábban kiválasztott, mindenre alkalmazható és 25 kényszerű választási kérdést azonosítottak.10.

A fentiekben ismertetett kísérletektől eltérően, ezek a felmérések válaszadói mind ugyanazt a kérdésformátumot kapták. Ez azt jelenti, hogy az erőltetett választás és az összes kiválasztás eredményeinek összehasonlítását megzavarhatják olyan tényezők, mint a különböző témák vagy az eltérő elemszám. Ez a korlátozás az irattári elemzés eredményeit sokkal áttekinthetőbbé teszi, mint a fentebb ismertetett kísérletek eredményeit.

Az archív adatokban az átlagos elsőbbségi hatás 0 százalékpont volt a megvizsgált kényszerválasztási kérdések között, míg az összeset választó kérdések esetében 3 százalékpont volt. Összességében a kísérleti és megfigyelési archív adatok azt sugallják, hogy a kényszer választás formázása, ha van ilyen, kevésbé érzékeny a primátus effektusokra, mint az összes alkalmazható választó kérdés, de ez a hatás általában kicsi és nem mindig következetes.