Badania kwotowe w PS QUAESTIO PRO, czyli jak okiełznać Internet - cz. 1

Niskie koszty realizacji, krótki czas potrzebny na zebranie opinii od respondentów oraz możliwość wykorzystania materiałów wideo, to tylko niektóre z zalet badań internetowych. Natomiast najsilniejszym argumentem przeciw, okazuje się anonimowość respondentów. Jeżeli nie mamy ustalonej grupy docelowej, do której możemy wysłać zaproszenie emailem, to zaczynamy się gorączkowo zastanawiać:

• Kto tak naprawdę odpowiada na naszą ankietę?
• Czy robi to jeden raz, czy też postanowił ją wypełnić wielokrotnie?
• Czy udziela szczerych odpowiedzi?
• Jakie są jego intencje, bo przecież większość społeczeństwa unika ankiet jak ognia.

Te i wiele innych pytań spowodowało we mnie chęć podjęcia tematu badań anonimowych opartych na próbie kwotowej. Dla przypomnienia: próba kwotowa to rodzaj próby nieprobabilistycznej (nielosowej), o której można powiedzieć, że jest w pewnym stopniu reprezentatywna dla całej badanej populacji, mimo że jednostki wchodzące w jej skład nie zostały wybrane w sposób losowy. Wybierając respondentów do próby kwotowej bierze się najczęściej pod uwagę takie cechy jak: wiek, płeć, miejsce zamieszkania, status społeczny lub zawodowy.

W kontekście badań kwotowych interesujące jest to, że jesteśmy częściowo w stanie odzyskać kontrolę nad respondentem. Oczywiście nadal może on „ściemniać”, odnośnie swojego wieku, czy płci, ale to my ustalamy reguły kwotowe i tylko my, badacze możemy sprawić, że będą one niebanalne i trudne do odszyfrowania dla ankietowanego. Innymi słowy, chciałbym abyście zaczęli używać kwot, również jako mechanizmu „obronnego” przed nieuczciwym respondentem.

Mechanizm kwotowy zaimplementowany w systemie PS QUAESTIO PRO został przygotowany tak, aby można było go wykorzystywać nie tylko w badaniach anonimowych, ale również autoryzowanych (ze zdefiniowaną grupą respondentów), zarówno dla technik CAWI jak i CATI. Proces aktywacji projektu badawczego, który wykorzystuje system kwoty jest bardziej złożony od standardowego. Dlatego zacznę od przedstawienia go w punktach. Ogólny plan postępowania wygląda następująco:

1. Przygotowujemy kwestionariusz;
2. Konstruujemy tabelę lub wiele tabel warunkowych zawierających komórki kwotowe i określamy ich limity;
3. Aktywujemy projekt badawczy z włączoną opcją Quota control;
4. Monitorujemy proces gromadzenia danych przez:
   1. korektę wartości poszczególnych komórek kwotowych;
   2. aktywację/dezaktywację tabel warunkowych (zawierających komórki kwotowe).

PRZYGOTOWANIE KWESTIONARIUSZA

Na tym etapie kluczowe jest podjęcie decyzji o umiejscowieniu pytań filtrujących. Możemy podejść do zagadnienia na dwa sposoby. Pierwszy, bardziej „humanitarny”, w którym umieścimy je na początku ankiety i drugi –  z pytaniami filtrującymi zadawanymi na końcu lub w trakcie trwania badania. Każdy z nich ma swoje wady i zalety. Jeżeli kontrola kwotowa znajdzie się na początku kwestionariusza to w przypadku odrzucenia, respondent nie będzie musiał niepotrzebnie kontynuować wypełniania. Z drugiej jednak strony umieszczenie kwoty na końcu badania pozwala na kwalifikowanie ankietowanego, nie tylko na bazie pytań „metryczkowych”, ale również na podstawie pytań będących częścią narzędzia badawczego.

Ważne jest, żeby konstruować pytania kwotowe w sposób, który nie będzie przewidywalny dla respondenta, nawet jeśli będzie próbował wypełniać ankietę wielokrotnie. Przykładowo – jeżeli chcemy wyłowić wśród internetowego „tłumu” ludzi, którzy naprawdę lubią koty to nie zadajemy pytania: „Czy lubisz koty?” i nie sugerujemy tym samy naszych intencji. Znaczniej lepiej jest zapytać „Które, z poniższych zwierząt lubisz najbardziej?” i wymienić dziesięć różnych gatunków. Dzięki temu zwiększamy szansę, że ankietowany odpowie zgodnie z prawdą.

Arbitralne ustalenie przez badacza listy cech, na podstawie których respondent będzie kwalifikowany do dalszego wypełniania ankiety powinno być wzbogacone pytaniami kontrolnymi, których zadaniem będzie wyłapywanie „nieuczciwych” respondentów.

Myślę, że najwyższy czas przejść do czynów i wspólnie przygotować prosty, ale kompletny przykład prezentujący techniczne aspekty przygotowania i wykorzystania mechanizmu kwot w PS QUAESTIO PRO.

Powyższe pytania wykorzystamy do przygotowania przykładowego mechanizmu kwotowego.

TABELE WARUNKOWE i QUOTA

Narzędzie Quota, które służy do budowania warunków kwotowych jest instalowane automatycznie wraz z oprogramowaniem. Po przygotowaniu ankiety, nasz projekt zapisujemy na dysku, a następnie przechodzimy do przygotowania kwot. Z menu Tools wybieramy Quota a następnie opcje Configure…

Po uruchomieniu programu Quota możemy edytować istniejący plik kwoty lub budować nowy. Konstruowanie warunków kwotowych polega na przeciąganiu wybranych zmiennych do centralnego okna tabeli. Użytkownik ma w zasadzie pełną dowolność w doborze liczby zmiennych oraz poziomie ich zagnieżdżenia. Niemniej przy konstruowaniu tabel warunkowych należy bazować przede wszystkim na pytaniach zamkniętych (single, multiple, grid, true/false itp.).

Zbudujmy teraz dwie przykładowe tabele warunkowe. Pierwszą, bazującą jedynie na pytaniu o płeć (p1) i drugą wzbogaconą dodatkowo o wykształcenie (p2). Aby utworzyć pierwszą z tabel przeciągamy do centralnego okna zmienną p1 i upuszczamy na osi X. Następnie w sekcji Title wprowadzamy wartość plec.

Tak przygotowaną tabelę warunkową możemy uzupełnić o wartości kwot dla poszczególnych kategorii płci. Dwukrotnie klikamy w szary kwadrat znajdujący się poniżej kategorii Kobieta i wprowadzamy wartość 5 w polu Quota target.

Każdorazowe spełnienie przez respondenta założeń kwotowych będzie automatycznie zwiększało wartości poszczególnych komórek tabeli warunkowej, aż do osiągnięcia wprowadzonego przez badacza limitu (w naszym przypadku jest to wartość 5 dla kobiet). 

Sekcja Options zawiera trzy warianty zachowania systemu odnoszące się do sposobu naliczania kwoty, a w konsekwencji reakcji na jej przekroczenie. Domyślny, Normal Quota wyklucza respondenta z dalszego ankietowania, niezwłocznie po przekroczeniu założonego limitu. Allow Over Quota charakteryzuje się specyficznym momentem naliczenia kwoty, który następuje dopiero po zakończeniu wypełniania pełnego wywiadu. Innymi słowy w pierwszym wariancie system nalicza kwotę od razu po udzieleniu odpowiedzi na pytania filtrujące (nawet jeżeli respondent nie dokończy dalszej części badania). Drugi wariant zwiększa licznik dopiero po wypełnieniu całej ankiety (osiągnięciu statusu COMPLETED). Może to skutkować np. przepuszczeniem większej liczby ankietowanych niż zakładał limit. Trzeci Counter Quota jest tylko rodzajem licznika, który możemy wykorzystywać do bieżącego monitorowania liczby osób, które „wpadły” nam do danej komórki tabeli kwotowej. Analogicznie do poprzedniego wprowadzamy wartość 5 dla komórki Mężczyzna, jednocześnie modyfikując opcję domyślną na wariant Allow Over Quota. Dzięki temu po wykonaniu aktywacji będziecie mogli zweryfikować zasadę działania obu wariantów i w przyszłości stosować ten, który lepiej pasuje do potrzeb.

Teraz przystąpimy do utworzenia drugiej z zapowiadanych przeze mnie wcześniej tabel warunkowych, która będzie posiadać układ zagnieżdżony. W tym celu, klikamy klawisz Add Table, znajdujący się w górnej części centralnego okna i nadajemy jej nazwę plec_wykszt. Analogicznie jak poprzednio przeciągamy zmienną p1 (płeć) oraz zmienną p2 (wykształcenie) na oś X upuszczając bezpośrednio jedną pod drugą.

Dla tabel kwotowych, które posiadają dużą liczbę komórek o identycznych wartościach limitów, istnieje możliwość ich jednoczesnego uzupełniania. Wystarczy, że podczas zaznaczania kursorem będziemy mieć wciśnięty klawisz CTRL lub SHIFT, a następnie za pomocą prawego klawisza myszy wybierzemy opcję Edit. Dla ułatwienia proponuję wprowadzenie wartości 3 dla wszystkich komórek kategorii Kobieta oraz wartości 4 dla kategorii Mężczyzna.

W analogiczny sposób możemy wykorzystać pytanie (p4) o rodzaj preferowanej herbaty i wzbogacić naszą ankietę o mechanizm kontrolny. Jeżeli nasze badanie ma być ukierunkowane na osoby preferujące herbatę w saszetkach to wystarczy ustawić limit 0 dla wszystkich pozostałych kategorii. Pamiętajcie, że nawet jeżeli obiecacie nagrodę za wypełnienie ankiety i ktoś będzie próbował wielokrotnie przejść przez system filtrujący, to kombinacja kilku pytań zawierających 6-8 kategorii odpowiedzi powinna go skutecznie zniechęcić. Z doświadczenia wiem, że prewencja jest bardzo skutecznym sposobem na osiągnięcie spodziewanego efektu, zwłaszcza że eliminacja niechcianych wywiadów dopiero na etapie analizy wyników jest bardziej czasochłonna.

Twórcy programu dali nam do ręki narzędzie, dzięki któremu możemy konstruować warunki, o znacznie większym stopniu złożoności, w stosunku do omawianych przeze mnie przykładu. Istnieje jednak zasadnicza różnica w sposobie ich działania. Przede wszystkim Expression Quotas umożliwia wykorzystanie dowolnych typów pytań. Po drugie, każdy z przygotowanych warunków (bez względu na stopień komplikacji) jest niejako odpowiednikiem pojedynczej komórki w tabeli kwotowej. Zasadnicza różnica polega jednak na sposobie naliczania kwot. W tabelach wykorzystujemy tylko pytania zamknięte, więc każdy z respondentów musi wpaść do przynajmniej jednej komórki kwotowej. Expression Quotas pozwalając na stosowanie np. pytań numerycznych (otwartych) nakłada na badacza dodatkowy obowiązek budowania warunków dopełniających. Być może brzmi to nieco enigmatycznie, więc śpieszę z przykładem. Załóżmy, że chcemy, aby w naszym badaniu wzięły udział kobiety, które ukończyły 21 rok życia. Ponieważ pytanie o wiek (p3) jest pytaniem otwartym to nie będziemy mogli skorzystać z tabeli kwotowej. Budując warunek w Expression Quotas wybieramy zmienną p1, zaznaczamy kategorię Kobieta i klikamy klawisz Dalej.

Następnie w sekcji New variable wybieramy zmienną p3 (gdyby była niewidoczna, to zweryfikujcie, czy w oknie powyżej listy zmiennych jest wybrana opcja All Variables). Wybieramy operator Greater than i wprowadzamy wartość 21, a następnie klikamy klawisz Zakończ.

Utworzony w ten sposób warunek będzie zwiększał wartość kwoty dla każdego respondenta, który odpowiednio udzieli odpowiedzi na oba pytania (zgodnie z założeniami kwoty). A co z pozostałymi respondentami? Otóż program automatycznie uznaje, że nie spełniają oni warunku kwotowego i zostają potraktowani, tak jakby kwota została już przekroczona. Dlatego najczęściej konstruuje się warunki dopełniające, które pozwolą „obsłużyć” wszystkie lub większość alternatywnych kombinacji np. kobiety do 21 roku życia, mężczyźni itp.

Wyjątkowa elastyczność Expression Quotas pozwala badaczowi na znacznie większą kontrolę nad doborem i klasyfikacją wstępną respondentów, niż ma to miejsce w przypadku stosowania tabel kwotowych choć wymaga od badacza nieco więcej uwagi i koncentracji. Na zakończenie należy zapisać efekt naszej pracy. Program Quota utworzy plik o nazwie identycznej jak nazwa projektu, ale z rozszerzeniem .mqd (w moim przypadku jest to kwota.mqd) i umieści go w tej samej lokalizacji.

Ostatnim już elementem niezbędnym do uruchomienia projektu badawczego z aktywnym mechanizmem kontroli kwot jest skrypt naliczający. Składa się on z kilku linijek kodu, które należy bezwzględnie umieścić w treści ankiety. Skrypt ten występuje w dwóch wariantach, prostszy dla badań CAWI i nieco bardziej rozbudowany dla badań CATI. My zastosujemy pierwszy z wariantów, niemniej oba dostępne są w dokumentacji DDL.

dim quota_pend_result

quota_pend_result = QuotaEngine.QuotaGroups["1"].Pend()

If Not (IsSet(quota_pend_result, QuotaResultConstants.qrWasPended)) Then

kwota.Show()

IOM.Terminate(Signals.sigOverQuota)

End If

W pierwszej kolejności musimy ustalić, w którym miejscu umieścimy obiekt typu Script Item, do którego wkleimy powyższy kod. Najlepiej jeżeli zrobimy to poniżej ostatniego z pytań, które zostały wykorzystane do skonstruowania wyrażenia kwotowego. W dużym uproszczeniu mogę napisać, że w danym momencie można wykorzystywać tylko jedną tabelę kwotową lub alternatywnie Expression Quotas. W naszym przypadku pierwsza z tabel plec bazuje na pytaniu p1 (płeć) natomiast druga plec_wykszt na połączeniu p1 z p2 (wykształcenie). W takim wypadku Script Item najlepiej umieścić pod pytaniem p2, aby w każdym momencie trwania badania móc zamienić jedną tabelę na drugą, bez konieczności jakiejkolwiek modyfikacji kolejności obiektów w projekcie ankiety. Chodzi o to, że program nie może zweryfikować warunku kwotowego zanim respondent nie udzieli odpowiedzi na pytania w nim wykorzystane. Jeżeli zdecydujecie się na wykorzystanie wyrażenia utworzonego w Expression Quotas musicie obiekt Script Item umieścić poniżej pytania p3 (wiek).

Podsumowując powyższe rozważania:  przechodzimy do kwestionariusza, klikamy na pytaniu p2 i wstawiamy obiekt Script Item. Następnie wklejamy do niego treść skryptu. Pierwszym z elementów, jakie należy poddać edycji to modyfikacja nazwy tabeli kwotowej, do której będzie odwoływać się polecenie QuotaEngine. Proponuję wprowadzenie wartości plec jak poniżej:

Przed zmianą:

           quota_pend_result = QuotaEngine.QuotaGroups["1"].Pend()

Po zmianie:

          quota_pend_result = QuotaEngine.QuotaGroups["plec"].Pend()

Drugą i zarazem ostatnią czynnością, niezbędną do wykonania, to umieszczenie w zakładce Questions obiektu typu Display Text. Będzie on zawierał stosowny komunikat wyświetlany za każdym razem, gdy respondent przekroczy limit ustalonej przez nas kwoty. Dlaczego nie w zakładce Routing tak jak pozostałe pytania? Dlatego, że do obiektu Display Text będziemy się odwoływać tylko z poziomu skryptu, w momencie przekroczenia progu kwotowego. W związku z tym, nie może on być widoczny dla każdego ankietowanego.

Aby uniknąć konieczności dalszej modyfikacji skryptu proponuję nadać wstawianemu obiektowi Display Text nazwę kwota. Sama treść komunikatu jest w zasadzie dowolna, ja wprowadzę po prostu: Kwota przekroczona!!!. Oczywiście w docelowym badaniu nalegam, abyście stosowali bardziej wyrafinowane komunikaty odmawiające respondentowi dalszego udziału w badaniu.

UWAGA! Aby zweryfikować prawidłowe działania przygotowanego przez nas projektu badawczego należy wykonać jego aktywację na serwerze. Tryb podglądu Preview Interview znajdujący się w PS QUAESTIO PRO będzie generował błąd i nie należy się nim sugerować.

Absolutne minimum czynności jakie do tej pory wykonaliśmy, gwarantuje prawidłowe działanie mechanizmu kwotowego. Niemniej zanim przejdziemy do kolejnego etapu, czyli aktywacji projektu chciałbym uświadomić czytelnikom, że jest jeszcze bardzo wiele interesujących zagadnień związanych z tematem przygotowania i implementacji tabel oraz wyrażeń kwotowych. Między innymi, na etapie konstruowania warunków mamy możliwość korzystania nie tylko z pytań zawartych w kwestionariuszu, ale również danych znajdujących się w bazie Participants. Otwiera to przed nami dodatkowe możliwości kwalifikacyjne i walidacyjne dla badań posiadających zdefiniowaną grupę docelową. Zachęcam do zapoznania się z opisem znajdującym się w zainstalowanej w programie dokumentacji DDL.

Z kolejnego artykułu dowiecie się:

- jak prawidłowo wykonać aktywację projektu badawczego, który zawiera mechanizm kwotowego doboru respondentów;

- jakie możliwości daje nam system PS QUAESTIO PRO w zakresie zarządzania projektem na etapie realizacji.