Podejmowanie decyzji o usunięciu pozycji ze skali

Czasami zamiast zadawać pojedyncze pytanie w ankiecie, zadajemy cały zestaw pytań, które w zamierzeniu mają później posłużyć do zbudowania skali. Poszczególne pytania z ankiety zwane są pozycjami skali. Aby upewnić się, że pozycje skali są ze sobą spójne, warto przeprowadzić analizę rzetelności

Najczęściej stosowaną miarą rzetelności skali jest Alfa Cronbacha. Sprawdźmy jaka byłaby wartość tej statystyki dla skali złożonej z sześciu pozycji, a mierzącej nastawienie klientów banku do oszczędzania pieniędzy [1]

 

Alfa Cronbacha może przyjmować wartości od 0 do 1. Im wyższa jest ta wartość, tym lepiej. W naszym przypadku wartość Alfy Cronbacha jest zadowalająca. Mimo to, proponuję nie poprzestawać na tym, a wejść w analizę rzetelności trochę głębiej. Dobrą praktyką jest sprawdzenie przed utworzeniem skali, jaki efekt miałoby usunięcie poszczególnych pozycji ze skali.

 

Tabela 2 przedstawia statystyki dla całej skali w przypadku, gdybyśmy pominęli którąś z pozycji:

• Pierwsza kolumna mówi o tym, jaka byłaby średnia całej skali, gdyby dane stwierdzenie zostało z niej usunięte. Oblicza się to odejmując średnią dla danej pozycji od średniej dla całej skali. Oczywiście zawsze usunięcie jednej pozycji ze skali poskutkuje zmniejszeniem średniej, co więcej, zmienia się zakres możliwych do osiągnięcia wartości (skala złożona z sześciu pozycji może przyjmować wartości od 6 do 36, a skala utworzona z pięciu pozycji – od 5 do 30);
• Usunięcie ze skali jednej pozycji spowoduje też zmniejszenie wariancji. Wartości wariancji skali po usunięciu każdej z pozycji znajdziemy w drugiej kolumnie omawianej tabeli;
• Trzecia kolumna mówi o korelacji danej pozycji skali ze wszystkimi pozostałymi, traktowanymi łącznie. Obliczana jest jako współczynnik korelacji R Pearsona pomiędzy wartością danej pozycji a sumą wartości pozostałych pozycji. Ogólnie rzecz biorąc, kiedy tworzymy skalę, zależy nam na tym, aby korelacja pomiędzy każdym elementem a całą skalą była wysoka. W przeciwnym wypadku możemy podejrzewać, że pozycja nie mierzy dokładnie tego samego konstruktu co inne i jest to przesłanka do rozważenia usunięcia takiej pozycji ze skali. W naszym przykładzie najniższy współczynnik korelacji z całą skalą ma pozycja kupowanie nowych rzeczy psuje mi humor;
• Czwarta kolumna przedstawia kwadrat korelacji wielokrotnej, czyli znany Państwu zapewne z analizy regresji R-kwadrat. Dla każdej pozycji skali budowany jest model regresji, w którym dana pozycja jest zmienną zależną, a wszystkie pozostałe pozycje przyjmują rolę predyktorów. Celem jest przewidzenie wartości dla tej pozycji skali, bazując na wiedzy o wartościach wszystkich pozostałych pozycji. Im większy R-kwadrat, tym lepiej;
• W ostatniej kolumnie tabeli znajduje się informacja o wartości alfy Cronbacha po usunięciu danej pozycji. Jak pamiętamy, Alfa Cronbacha dla całej omawianej skali wynosi 0,71. Jeśli z tabeli wynikałoby, że usunięcie jakiejś pozycji poprawi (zwiększy) wartość alfy Cronbacha, byłby to dla nas silny argument, aby zredukować naszą skalę do pięciu pozycji.
• Na podstawie wcześniejszych analiz, podejrzewaliśmy, że stwierdzenie kupowanie nowych rzeczy psuje mi humor może negatywnie wpływać na spójność skali. Sprawdźmy, co by się stało, gdybyśmy je usunęli. Z omawianej tabeli możemy odczytać, że po usunięciu tej pozycji, wartość alfy Cronbacha zmniejszyłaby się, choć spadek byłby względnie niewielki. Usunięcie jakiejkolwiek innej pozycji pociągnęłoby za sobą większy spadek. W takiej sytuacji ostateczna decyzja należy do analityka. Być może część z Państwa wolałaby pozostawić tę zmienną, aby maksymalizować alfę Cronbacha. Jednak jeśli zależy nam na tym, aby nasza skala nie była zbyt skomplikowana (w myśl zasady: im prościej tym lepiej), to możemy zdecydować się na usunięcie pozycji, która niewiele wnosi do naszej skali.

Wykonajmy więc ponownie analizę rzetelności, ale tym razem pomijając tę zmienną. Jeśli spojrzymy na tabelę 3, widać, że korelacje pomiędzy parami zmiennych dla 5. pozycji wahają się w granicach od 0,245 do 0,397, a średnia korelacja wzrosła do poziomu 0,319. Nie ma też tak dużych różnic pomiędzy pozycjami skali w zakresie średnich czy wariancji. Wygląda na to, że usunięcie pozycji było dobrym pomysłem.

 

Ale, ale! W dążeniu do tego, aby pozycje skali były do siebie podobne, musimy uważać, aby nie przesadzić. Wyobraźmy sobie, że wszystkie pozycje skali są ze sobą idealnie skorelowane, do tego mają jednakowe średnie i takie same wariancje. W takiej sytuacji pojawia się pytanie: po co w ogóle konstruować skalę? Zamiast analizować cały zestaw zmiennych, wystarczyłoby przecież w takiej sytuacji wybrać jedną, dowolną zmienną z zestawu. Analiza tej zmiennej dałaby dokładnie takie same efekty jak analiza całego zestawu. Aby jednak nie zagalopować się w dążeniu do doskonałości, możemy posłużyć się testami statystycznymi dostępnymi w ramach procedury analizy rzetelności. Jednym z podejść może być próba dopasowania do naszych danych modelu równoległego lub ściśle równoległego. Założeniem modelu ściśle równoległego jest to, że w populacji wszystkie pozycje skali mają takie same średnie oraz wariancje. W przypadku modelu równoległego hipoteza zerowa nie jest aż tak restrykcyjna i mówi już tylko o równości wariancji pomiędzy pozycjami skali. Zauważmy, że model równoległy jest zagnieżdżony w ściśle równoległym – jeżeli nie są spełnione założenia modelu równoległego, to automatycznie wykluczone jest spełnienie założeń modelu ściśle równoległego. Spróbujmy dopasować do naszych danych model równoległy. Poniżej znajduje się tabela z testem dobroci dopasowania modelu. Test ten sprawdza, czy dane pozwalają na przyjęcie hipotezy zerowej o braku różnic między wariancjami poszczególnych pozycji skali.

 

Poziom istotności testu mniejszy od 0,05 świadczy o tym, że nie ma podstaw do przyjęcia hipotezy zerowej. Dla nas oznacza to, że wariancja przynajmniej jednej pozycji istotnie różni się od wariancji pozostałych pozycji. Skoro tak, to nie ma potrzeby wykonywać już testu dobroci dopasowania modelu ściśle równoległego. Wiemy już, że pozycje naszej skali nie mają równej wariancji, ale co z ich średnimi? Do sprawdzenia tej kwestii możemy wykorzystać testy bazujące na tabeli ANOVA. Testy te pozwalają sprawdzić hipotezę zerową, która mówi o tym, że w populacji średnie wszystkich pozycji są równe. Wybór odpowiedniego testu zależy od poziomu pomiaru zmiennych. Test F wykorzystywany jest wtedy, kiedy zmienne wchodzące w skład skali są mierzone na poziomie ilościowym, test Friedmana służy do analizy zmiennych porządkowych, a test Cochrana należy wybrać w przypadku, gdy skala stanowi zestaw dychotomii. Nasza skala składa się z pozycji mierzonych na poziomie porządkowym, dlatego wybieram test Friedmana. W tabeli 5 możemy odczytać wartość testu chi-kwadrat Friedmana. Jest to stosunek sumy kwadratów między pozycjami (35,559) do średniego kwadratu wewnątrzobiektowego (1,101).

Poziom istotności testu jest mniejszy od 0,05. Nie ma więc podstaw do przyjęcia hipotezy zerowej. Oznacza to, że średnia przynajmniej jednej pozycji różni się istotnie od pozostałych średnich. Testy statystyczne (zarówno test dobroci dopasowania modelu równoległego, jak i test bazujący na tabeli ANOVA) upewniły nas, że choć skala jest spójna, to nie przesadziliśmy w dążeniu do tej spójności. Nie można powiedzieć, że wszystkie pozycje skali niosą ze sobą dokładnie tę samą informację. Zastosowanie tylko jednej, wybranej zmiennej zamiast całej skali, wiązałoby się z utratą dodatkowych informacji, jakie niosą pozostałe pozycje skali. W tym wpisie, po rozważeniu argumentów za i przeciw, zdecydowaliśmy się usunąć z naszej skali jedną z pozycji. Wykonaliśmy też testy statystyczne, sprawdzające hipotezy o równości średnich i wariancji pomiędzy pozycjami. To wszystko razem pozwoliło nam uznać, że nasza skala będzie dobrze odzwierciedlać stosunek klientów banku do oszczędzania pieniędzy.

 

---

 

[1] Na tym samym przykładzie przedstawiałam proces przygotowania do analizy rzetelności. Aby dowiedzieć się więcej, zajrzyj do wpisu „Jak przygotować się do analizy rzetelności skali?”