Bez odpowiedniej mocy testu możemy popełnić błąd II rodzaju, co oznacza, że analityk nie odrzuci hipotezy zerowej, gdy w rzeczywistości jest ona fałszywa.
Obliczenie mocy testu statystycznego jest często wykonywane przed badaniem – pozwala wtedy określić kilka kluczowych wartości, które potwierdzą wiarygodność wyników. Przenalizujmy sytuację, w której badacz przed rozpoczęciem badania wykorzysta analizę mocy testu do określenia jak duża powinna być próba badawcza. Przebadanie zbyt małej liczby osób może spowodować, że nie uda się poprawnie zweryfikować postawionych hipotez. Badacz nie będzie widział, czy brak występowania w wynikach spodziewanego efektu wynika z jego faktycznego braku w badanej populacji, czy też stąd, że grupa badawcza była zbyt mała, by go zaobserwować.
Z kolei duża próba zwiększa koszty badania i wydłuża czas jego realizacji. Warto pamiętać, że w miarę zwiększania wielkości próby, testy statystyczne zyskują większą zdolność do wykrywania niewielkich efektów. Tutaj powstaje pytanie, czy różnica w wynikach będzie na tyle istotna, żeby ponosić dodatkowe koszty i przedłużać badanie
Analiza mocy testu pozwoli określić najmniejszą wielkość próby badawczej, która pozwoli wykryć dla danego testu statystycznego efekt, na pożądanym przez badacza poziomie istotności.
Od czego zależy moc testu?
Moc testu będzie zależeć od trzech wartości: wielkości próby, poziomu istotności oraz siły efektu.
Siła efektu jest to ilościowe przedstawienie wielkości zjawiska obecnego w badanej populacji. Siła efektu jest obliczana przy użyciu określonej miary statystycznej, np. współczynnika korelacji Pearsona dla związku między zmiennymi ilościowymi lub d-Cohena dla różnicy między grupami.
Przyjrzyjmy się jednemu z testów statystycznych. W teście t-Studenta porównujemy dwie grupy i chcemy sprawdzić, czy między wynikami dla tych grup występuje istotna statystycznie różnica. Wyniki testu wskazują, że grupy różnią się istotnie statystycznie. Aby określić jaka duża jest różnica, oblicza się dodatkową miarę tj. siłę efektu. W przypadku testów t, najczęściej siła efektu jest wyrażona za pomocą statystyki d-Cohena.
Warto dodać, że łatwiej jest empirycznie wykazać występowanie silnych efektów niż słabych, ponieważ te słabe wymagają testów statystycznych o większej mocy, większej próby i dokładniejszych narzędzi pomiarowych. Silne efekty okazują się istotne statystycznie nawet przy niewielkich próbach, słabe efekty wymagają większej próby aby okazały się istotne.
Wielkość próby badawczej jest to minimalna liczba jednostek potrzebnych do zaobserwowania efektu o określonej wielkości przy danym poziomie mocy testu.
Poziom istotności to dopuszczalne ryzyko popełnienia błędu I rodzaju. Wartość poziomu istotności statystycznej nie jest arbitralnie narzucona, niemniej jednak często przyjmowanym progiem istotności jest 0,05. Poziom istotności jest ważną determinantą mocy testu i wielkości błędu II typu. Zmniejszenie ryzyka popełniania błędu I rodzaju automatycznie zwiększa ryzyko błędu II rodzaju oraz zmniejsza moc testu.
Rysunek 1. Czynniki składowe mocy testu
Warto tutaj również dodać, że testy statystyczne różnią się między sobą mocą. Testy parametryczne będą miały ogólnie przyjętą większą moc niż testy nieparametryczne. Kolejną kwestią jest wielkość próby badawczej oraz wielkość spodziewanego efektu. Im większa próba tym większa moc testu. Warto pamiętać, że błędy na poziomie realizacji badania również będą miał wpływ na moc testu i będą powodowały, że wynik będzie obciążony błędem.
Jaka powinna być minimalna moc testu statystycznego?
Testowanie hipotez statystycznych jest związane z dwoma błędami, których prawdopodobieństwa oznaczamy jako α i β. Dla przypomnienia, wartość α jest związana z popełnieniem błędu I rodzaju, czyli błędnego odrzucenia hipotezy zerowej, gdy w rzeczywistości jest ona prawdziwa. Wielkość β natomiast to prawdopodobieństwo popełnienia błędu II rodzaju, czyli nieodrzucenie fałszywej hipotezy zerowej. Moc testu możemy określić jako dopełnienie prawdopodobieństwa popełnienia błędu drugiego rodzaju (β), czyli 1-β. Ogólnie przyjęte jest, że moc testu powinna wynosić co najmniej 0,8, aby zapewnić wykrycie różnic i uniknąć błędu II rodzaju.
Jak zwiększyć moc testu?
Wszystkie cztery czynniki wymienione powyżej są ze sobą powiązane. Moc testu możemy zwiększyć poprzez:
- Zwiększenie wielkości próby badawczej.
- Zwiększenie poziomu istotności (w praktyce jednak poziom istotności jest ustalany na wartość nie większą niż 0,05).
- Określenie, że będą nas interesowały tylko znaczące efekty.
Jak obliczyć moc testu statystycznego?
Przy analizie mocy testu warto skorzystać z programu statystycznego, który pozwoli na sprawdzenie jakie wartości parametrów będą dla nas zadawalające pod względem intersującej nas wielkości mocy. Bazujący na silniku IBM SPSS Statistics program PS IMAGO PRO pozwala oszacować wielkość próby na podstawie wskazania wartości mocy testu oraz interesującej analityka siły efektu. Możemy oszacować jaka powinna być wielkość próby dla wielu różnych wartości mocy testu lub w pewnym zakresie np. od 0,5 do 0,9. Otrzymane wyniki są prezentowane w tabeli i na wykresie. Jak widać na poniższej tabeli, jeśli chcemy porównać wyniki dla dwóch grup niezależnych za pomocą testu t i zakładamy, że interesuje nas efekt o sile 0,5, przy poziomie istotności 0,05, to aby moc testu wynosiła 0,8, w każdej badanej grupie powinno znajdować się minimum 64 obserwacje.
Tabela 1. Analiza mocy testu t dla dwóch prób niezależnych
Wykres 1. Wykres prezentujący stosunek wielkości próby do mocy testu dla testu t dla prób niezależnych, z poziomem istotności 0,05 oraz siłą efektu 0,5
Podsumowując, określenie moc testu obejmuje oszacowanie jednego z wyżej wymienionych parametrów za pomocą trzech innych. Na przykład moc testu można oszacować biorąc pod uwagę siłę efektu, wielkość próby i poziom istotności. Analiza mocy testu jest zwykle przeprowadzana przed realizacją badania, a także może być użyta a priori do oszacowania dowolnego z czterech parametrów.