Kiedy dokonujemy pomiaru jakiegoś zjawiska, musimy dobrać najpierw odpowiednie narzędzie. Do mierzenia temperatury zastosujemy termometr, stężenie alkoholu w wydychanym powietrzu zmierzymy za pomocą alkomatu, a masę ciała za pomocą wagi łazienkowej. W badaniach sondażowych narzędziem pomiaru jest kwestionariusz i pytania w nim zawarte. Jeśli chcemy określić wiek respondenta, wystarczy zadać mu odpowiednie pytanie – na przykład o rok urodzenia.
Niezależnie od tego, jakie zjawisko mierzymy, zależy nam na tym, żeby narzędzie pomiaru było dobrze dobrane. Czy liczba meczów piłki nożnej obejrzanych w telewizji w ciągu ostatniego miesiąca będzie dobrym wskaźnikiem umiejętności gry w piłkę nożną? Raczej nie. Oglądanie meczów w telewizji może świadczyć o zainteresowaniu sportem, ale już nie o umiejętnościach badanego. Podstawowym warunkiem, jaki powinno spełniać narzędzie pomiaru, jest trafność. Trafne narzędzie to takie, które mierzy dokładnie to, co powinno mierzyć. Zastosowanie narzędzia, które jest nietrafne, będzie skutkowało wyciąganiem nieuprawnionych wniosków z naszych analiz.
Jednak trafność to jeszcze nie wszystko. Załóżmy, że chcemy zmierzyć poziom wulgaryzacji języka na pewnym forum internetowym. Zespół badawczy dzieli pomiędzy siebie poszczególne posty i zlicza ilość występujących w nich wulgaryzmów. Wydaje się, że wszystko jest w porządku, w trafny sposób dobrano przecież narzędzie pomiaru. Niestety po pewnym czasie okazuje się, że wyrażenie, które w odczuciu jednej osoby kwalifikuje się do kategorii wysoce wulgarnych, dla innej nie zasługuje nawet na zaliczenie do grona wyrażeń niestosownych. Jeśli osoby kodujące, przed rozpoczęciem prac nie ustaliły wystarczająco szczegółowo zasad kodowania wyrażeń, to taki pomiar będzie nierzetelny.
Rzetelność pomiaru można rozumieć na trzy różne sposoby. Z pierwszym mieliśmy do czynienia w opisanym powyżej przykładzie. Rzetelność jest tu rozumiana jako stopień zgodności pomiędzy osobami oceniającymi dane zjawisko. Jeśli narzędzie pomiaru jest rzetelne, możemy mieć pewność, że każda osoba, która dokona pomiaru za pomocą tego narzędzia, uzyska ten sam wynik.
Drugie rozumienie rzetelności dotyczy powtarzalności pomiaru w czasie. Mierząc wielokrotnie długość wybranej ściany w moim mieszkaniu za pomocą tej samej miarki, powinnam uzyskać za każdym razem ten sam wynik (o ile tylko z moim mieszkaniem nie dzieje się nic dziwnego, czyli o ile warunki zewnętrzne się nie zmieniają). A więc widzimy już, że narzędzie pomiarowe powinno być niezależne od osoby dokonującej pomiaru oraz od czasu.
Trzecie rozumienie rzetelności dotyczy wewnętrznej spójności skal używanych do pomiaru zjawisk. Zatrzymajmy się przez chwilę na tym zagadnieniu. W badaniach społecznych i marketingowych często mamy do czynienia z konstruktami, które nie są bezpośrednio obserwowalne. Jest to związane z charakterem badanych zjawisk. Opinie, postawy, motywy postępowania ludzi nie są łatwe do zaobserwowania. Aby to zrobić, konieczne jest dobranie odpowiednich wskaźników. Choć często wskaźnikami są odpowiedzi respondentów na pojedyncze pytania w kwestionariuszu, czasami zachodzi potrzeba skonstruowania skali złożonej z kilku pytań. Najczęściej ma to miejsce w przypadku, gdy zachodzi obawa, że respondent zapytany o coś wprost, nie będzie potrafił udzielić odpowiedzi („Czy cechuje Pana/Panią neurotyczność?”), albo że jego odpowiedź nie będzie wiarygodna („Czy jest Pan/Pani osobą inteligentną?”). Powszechnym podejściem do badania nieobserwowalnych bezpośrednio zjawisk jest zadawanie respondentom zestawów pytań, które na etapie analizy danych przekształcane są na wskaźniki zwane indeksami bądź skalami.
Wyobraźmy sobie, że chcemy zmierzyć satysfakcję klienta z poziomu obsługi w punkcie usługowym. Na poziom obsługi składa się wiele elementów: szybkość realizacji zamówienia, uprzejmość i kompetencja obsługi, stopień realizacji wszystkich wymagań klienta. Jeśli zapytamy o każdy z tych komponentów z osobna, a następnie zsumujemy odpowiedzi respondentów, otrzymamy skalę satysfakcji z poziomu obsługi. Niezależnie, czy sami budujemy skalę, czy też korzystamy z gotowej skali opracowanej przez kogoś innego, zanim zaczniemy stosować ją do analiz, powinniśmy sprawdzić, czy jej poszczególne elementy są ze sobą spójne. Jednym z podstawowych podejść do badania spójności wewnętrznej skal jest zastosowanie miary alfa zaprojektowanej przez L. J. Cronbacha. Jest to jednak wątek na tyle obszerny, że warto poświęcić mu osobny wpis.
Tymczasem, jako podsumowanie, załączam krótki test na rozumienie pojęć rzetelności i trafności. Przeczytaj pytanie i spróbuj na nie odpowiedzieć, zanim przejdziesz do dalszej części wpisu. Jeśli przestawisz wagę łazienkową tak, żeby „odejmowała” Ci zawsze 5 kg, to pomiar dokonywany tym narzędziem będzie:
- trafny i rzetelny
- trafny, ale nierzetelny
- rzetelny, ale nietrafny
- nietrafny i nierzetelny
*** Oczywiście, prawidłowa odpowiedź to 3 – pomiar będzie rzetelny, ale nietrafny. Rzetelny, ponieważ niezależnie od tego ile razy wejdziesz na tę wagę, odczytasz z niej tę samą wartość. Gdy poprosisz o odczytanie wyniku inną osobę, też uzyskasz tę samą odpowiedź. Problemem byłaby tu natomiast trafność pomiaru – wyniki byłyby zaniżone w stosunku do wartości prawdziwej. Ale czego się nie robi, dla poprawienia sobie samopoczucia, nieprawdaż?