Уровень значимости и мощность

При проверке статистической гипотезы возможны ошибки. Есть два рода ошибок. Ошибка первого рода заключается в том, что отвергают нулевую гипотезу, в то время как в действительности эта гипотеза верна. Ошибка второго рода состоит в том, что принимают нулевую гипотезу, в то время как в действительности эта гипотеза неверна.

Вероятность ошибки первого рода называется уровнем значимости и обозначается α. Таким образом, α = P{UΨ | H₀}, т.е. уровень значимости α – это вероятность события {UΨ}, вычисленная в предположении, что верна нулевая гипотеза Н₀.

Уровень значимости однозначно определен, если Н₀ – простая гипотеза. Если же Н₀ – сложная гипотеза, то уровень значимости, вообще говоря, зависит от функции распределения результатов наблюдений, удовлетворяющей Н₀. Статистику критерия U обычно строят так, чтобы вероятность события {UΨ} не зависела от того, какое именно распределение (из удовлетворяющих нулевой гипотезе Н₀) имеют результаты наблюдений. Для статистик критерия U общего вида под уровнем значимости понимают максимально возможную ошибку первого рода. Максимум (точнее, супремум) берется по всем возможным распределениям, удовлетворяющим нулевой гипотезе Н₀, т.е. α = sup P{UΨ | H₀}.

Если критическая область имеет вид, указанный в формуле (9), то

P{U > C | H₀} = α.   (10)

Если С задано, то из последнего соотношения определяют α. Часто поступают по иному - задавая α (обычно α = 0,05, иногда α = 0,01 или α = 0,1, другие значения α используются гораздо реже), определяют С из уравнения (10), обозначая его С_α, и используют критическую область Ψ = {U > C_α} с заданным уровнем значимости α.

Вероятность ошибки второго рода есть P{UΨ | H₁}. Обычно используют не эту вероятность, а ее дополнение до 1, т.е. P{UΨ | H₁} = 1 - P{UΨ | H₁}. Эта величина носит название мощности критерия. Итак, мощность критерия – это вероятность того, что нулевая гипотеза будет отвергнута, когда альтернативная гипотеза верна. 

Понятия уровня значимости и мощности критерия объединяются в понятии функции мощности критерия – функции, определяющей вероятность того, что нулевая гипотеза будет отвергнута. Функция мощности зависит от критической области Ψ и действительного распределения результатов наблюдений. В параметрической задаче проверки гипотез распределение результатов наблюдений задается параметром θ. В этом случае функция мощности обозначается М(Ψ,θ) и зависит от критической области Ψ и действительного значения исследуемого параметра θ. Если

Н₀: θ = θ₀,

Н₁: θ = θ₁,

то

М(Ψ,θ₀) = α,

М(Ψ,θ₁) = 1 – β,

где α – вероятность ошибки первого рода, β -  вероятность ошибки второго рода. В статистическом приемочном контроле α – риск изготовителя, β – риск потребителя. При статистическом регулировании технологического процесса α – риск излишней наладки, β – риск незамеченной разладки.

Функция мощности М(Ψ,θ) в случае одномерного параметра θ обычно достигает минимума, равного α, при θ = θ₀, монотонно возрастает при удалении от θ₀ и приближается к 1 при | θ - θ₀ | → ∞.

В ряде вероятностно-статистических методов принятия решений используется оперативная характеристика L(Ψ,θ) - вероятность принятия нулевой гипотезы в зависимости от критической области Ψ и действительного значения исследуемого параметра θ. Ясно, что

L(Ψ,θ) = 1 - М(Ψ,θ).