W odniesieniu do przyjętego poziomu istotności, na podstawie otrzymanych wyników można następnie podjąć decyzję o odrzuceniu lub nieodrzuceniu hipotezy zerowej. Jeśli uznamy ją za nieprawdziwą, wówczas przyjąć można hipotezę alternatywną, która zakłada istnienie badanych różnic.
Jak bardzo jednak możemy być pewni otrzymanych wyników?
Błąd I rodzaju
Poziom istotności statystycznej przedstawia przyjęty poziom ryzyka, że wykazany efekt w rzeczywistości w populacji nie występuje. Błąd pierwszego rodzaju (błąd alfa, ang. type I error, false positive) to właśnie taka sytuacja, w której błędnie odrzucamy hipotezę zerową, gdy w rzeczywistości jest ona prawdziwa.
Popełnienie tego błędu jest więc wpisane w ryzyko przeprowadzanych analiz. Może być efektem doboru próby i np. przy poziomie istotności α = 0,001 jest to ta jedna sytuacja na tysiąc, w której obserwacje wylosowane zostały w taki sposób, że można zaobserwować różnice między próbami, choć w rzeczywistości one nie występują. Im większy przyjęty poziom istotności, tym większe jest prawdopodobieństwo popełnienia błędu I rodzaju.
Przykładem może być tutaj wyciągnięcie wniosków, że wyniki sprzedażowe w naszej firmie zależą od aktualnej pogody, choć w rzeczywistości taki związek nie występuje. W badaniach naukowych często replikuje się dotychczasowe wyniki, aby zweryfikować, czy nie są one spowodowane błędem I rodzaju.
Czasem błąd pierwszego rodzaju może być również wynikiem celowego działania, aby otrzymać istotnie statystyczne różnice między badanymi zmiennymi. Choć takie wyniki są z pewnością bardziej pożądane, nigdy nie powinno się manipulować danymi czy też doborem analiz, aby je otrzymać.
Rysunek 1. Rozkłady prawdopodobieństwa zgodne z hipotezą zerową (H0) oraz z hipotezą alternatywną (H1).
Obszar zamalowany na zielono przedstawia przyjęty poziom istotności statystycznej (α), a więc również
prawdopodobieństwo popełnienia błędu pierwszego rodzaju.
Obszar zamalowany na szaro przedstawia prawdopodobieństwo popełnienia błędu drugiego rodzaju (β).
Błąd II rodzaju
Odwrotną sytuacją jest błąd drugiego rodzaju (błąd beta, ang. type II error, false negative), w którym błędnie nie odrzuca się hipotezy zerowej, gdy w rzeczywistości jest ona fałszywa. Prawdopodobieństwo popełnienia tego błędu wyraża się symbolem β (rys.1).
Dochodzi w tym wypadku do sytuacji, w której błędnie nie odrzucamy hipotezy zerowej i tym samym nie przyjmujemy hipotezy alternatywnej, pomimo, że zakładana przez nią różnica w rzeczywistości występuje.
Przykład może tu stanowić sytuacja, w której na podstawie otrzymanych wyników wyciągamy wniosek, że skuteczność sprzedaży usług w naszej firmie nie zależy od sposobu komunikacji z klientem, jednak w rzeczywistości taki związek istnieje.
Błąd drugiego rodzaju jest związany bezpośrednio z mocą testu (mocą statystyczną), która stanowi jego matematyczne dopełnienie i wynosi 1-β.
Podsumowanie
Błędy I i II rodzaju odnoszą się do sytuacji, w których przyjmowana hipoteza nie jest zgodna z rzeczywistością. Błąd alfa popełniany jest, gdy błędnie odrzucona zostaje hipoteza zerowa, natomiast błąd beta, gdy hipoteza zerowa zostaje błędnie nieodrzucona (błędnie „przyjęta”).
Błędy te związane są bezpośrednio z przyjętym poziomem istotności. Im jest on mniejszy (bardziej restrykcyjny), tym mniejsze jest ryzyko popełnienia błędu I rodzaju. Rośnie jednak równocześnie ryzyko popełnienia błędu II rodzaju i maleje moc testu.
Błędy I i II rodzaju są ryzykiem związanym z doborem próby z populacji, mogą jednak również być efektem niepoprawnego wykonania analizy danych np. w zakresie spełnienia założeń czy doboru testu.