Rzetelnym narzędziem do mierzenia temperatury będzie termometr, stężenie alkoholu w wydychanym powietrzu zmierzymy za pomocą alkomatu, a masę ciała za pomocą wagi łazienkowej. W badaniach ankietowych narzędziem pomiaru jest kwestionariusz i pytania w nim zawarte. Jeśli chcemy określić wiek respondenta, wystarczy zadać mu odpowiednie pytanie – na przykład o rok urodzenia. Niezależnie od tego, jakie zjawisko mierzymy, zależy nam na tym, żeby narzędzie pomiaru było dobrze dobrane.
W badaniach ankietowych pojęcie rzetelności, jak i również trafności (o tym poniżej), są jednymi z kluczowych zagadnień, które pozwalają badaczom na ocenę jakości narzędzi badawczych oraz wiarygodności uzyskanych wyników. Przekłada się to na poprawność wniosków i możliwość ich zastosowania w praktyce.
Różnica między rzetelnością a trafnością
Zanim zajmiemy się rzetelnością, warto przyjrzeć się bliżej pojęciu trafności. Dobre narzędzie badawcze jest nie tylko rzetelne, ale również trafne.
Czy liczba meczów piłki nożnej obejrzanych w telewizji w ciągu ostatniego miesiąca będzie dobrym wskaźnikiem umiejętności gry w piłkę nożną? Raczej nie. Oglądanie meczów w telewizji może być istotne, jeśli badamy zainteresowanie piłką nożną lub zaangażowanie w kulturę sportową. Jednak próba użycia tej zmiennej jako wskaźnika umiejętności gry jest nietrafne, ponieważ nie mierzy tego, co w rzeczywistości chcemy zbadać.
Jednym z podstawowych warunków, jaki powinno spełniać narzędzie pomiaru, jest właśnie trafność. Trafne narzędzie to takie, które mierzy dokładnie to, co powinno mierzyć. Zastosowanie narzędzia, które jest nietrafne, będzie skutkowało wyciąganiem nieuprawnionych wniosków z naszych analiz. Trafność wskaźników jest więc kluczowa w kontekście projektowania badań, aby ich wyniki odpowiadały rzeczywistym zjawiskom, które chcemy zrozumieć lub zmierzyć.
Jednak trafność to jeszcze nie wszystko. Załóżmy, że chcemy zmierzyć poziom wulgaryzacji języka na pewnym forum internetowym. Zespół badawczy dzieli pomiędzy siebie poszczególne posty i zlicza ilość występujących w nich wulgaryzmów. Wydaje się, że wszystko jest w porządku, w trafny sposób dobrano przecież narzędzie pomiaru. Niestety po pewnym czasie okazuje się, że wyrażenie, które w odczuciu jednej osoby kwalifikuje się do kategorii wysoce wulgarnych, dla innej nie zasługuje nawet na zaliczenie do grona wyrażeń niestosownych. Jeśli osoby kodujące, przed rozpoczęciem prac nie ustaliły wystarczająco szczegółowo zasad kodowania wyrażeń, to taki pomiar będzie nierzetelny.
Rzetelność w badaniach ankietowych
Rzetelność narzędzi do pomiaru danego zjawiska można rozumieć na trzy różne sposoby. Z pierwszym mieliśmy do czynienia w opisanym powyżej przykładzie. Rzetelność jest tu rozumiana jako stopień zgodności pomiędzy osobami oceniającymi dane zjawisko. Jeśli narzędzie pomiaru jest rzetelne, możemy mieć pewność, że każda osoba, która dokona pomiaru za pomocą tego narzędzia, uzyska ten sam wynik.
Drugie rozumienie rzetelności dotyczy powtarzalności pomiaru w czasie. Mierząc wielokrotnie długość wybranej ściany w mieszkaniu za pomocą tej samej miarki, powinniśmy uzyskać za każdym razem ten sam wynik. A więc rzetelność odnosi się do spójności i powtarzalności wyników narzędzia badawczego. Narzędzie jest rzetelne, jeśli daje stabilne i podobne wyniki przy wielokrotnym zastosowaniu w tych samych warunkach.
Trzecie rozumienie rzetelności dotyczy wewnętrznej spójności skal używanych do pomiaru zjawisk. W badaniach społecznych i marketingowych często mamy do czynienia z konstruktami, które nie są bezpośrednio obserwowalne. Jest to związane z charakterem badanych zjawisk. Opinie, postawy, motywy postępowania ludzi nie są łatwe do zaobserwowania. Aby to zrobić, konieczne jest dobranie odpowiednich wskaźników. Choć często wskaźnikami są odpowiedzi respondentów na pojedyncze pytania w kwestionariuszu, czasami zachodzi potrzeba skonstruowania skali złożonej z kilku pytań. Najczęściej ma to miejsce w przypadku, gdy zachodzi obawa, że respondent zapytany o coś wprost, nie będzie umieć udzielić odpowiedzi („Czy cechuje Pana/Panią neurotyczność?”), albo że jego odpowiedź nie będzie wiarygodna („Czy jest Pan/Pani osobą inteligentną?”). Powszechnym podejściem do badania nieobserwowalnych bezpośrednio zjawisk jest zadawanie respondentom zestawów pytań, które na etapie analizy danych przekształcane są na wskaźniki zwane indeksami bądź skalami.
Wyobraźmy sobie, że chcemy zmierzyć satysfakcję klienta z poziomu obsługi w punkcie usługowym. Na poziom obsługi składa się wiele elementów: szybkość realizacji zamówienia, uprzejmość i kompetencja obsługi, stopień realizacji wszystkich wymagań klienta. Jeśli zapytamy o każdy z tych komponentów z osobna, a następnie zsumujemy odpowiedzi respondentów, otrzymamy skalę satysfakcji z poziomu obsługi. Niezależnie, czy sami budujemy skalę, czy też korzystamy z gotowej skali opracowanej przez kogoś innego, zanim zaczniemy stosować ją do analiz, powinniśmy sprawdzić, czy taka skala jest rzetelna, czyli w tym rozumieniu, czy jej poszczególne elementy są ze sobą spójne. Jednym z podstawowych podejść do badania spójności wewnętrznej skal jest zastosowanie miary alfa, zaprojektowanej przez L. J. Cronbacha. Jest to jedna z podstawowych miar rzetelności skal, która jest dostępna w PS IMAGO PRO, w prosty do wyliczenia sposób.
Podsumowanie
Tymczasem, jako podsumowanie, załączam krótki test na rozumienie pojęć rzetelności i trafności. Przeczytaj pytanie i spróbuj na nie odpowiedzieć, zanim przejdziesz do dalszej części wpisu.
Jeśli przestawisz wagę łazienkową tak, żeby „odejmowała” Ci zawsze 5 kg, to pomiar dokonywany tym narzędziem będzie:
- trafny i rzetelny
- trafny, ale nierzetelny
- rzetelny, ale nietrafny
- nietrafny i nierzetelny
Oczywiście, prawidłowa odpowiedź to 3 – pomiar będzie rzetelny, ale nietrafny. Rzetelny, ponieważ niezależnie od tego ile razy wejdziesz na tę wagę, odczytasz z niej tę samą wartość. Gdy poprosisz o odczytanie wyniku inną osobę, też uzyskasz tę samą odpowiedź. Problemem byłaby tu natomiast trafność pomiaru – wyniki byłyby zaniżone w stosunku do wartości prawdziwej. Ale czego się nie robi dla poprawienia sobie samopoczucia, nieprawdaż?