4.7. Методы проверки однородности для связанных выборок

Начнем с практического примера. Приведем письмо главного инженера подмосковного химического комбината (некоторые названия изменены).

"Директору Института высоких статистических технологий
и эконометрики (Фамилия, имя, отчество)

Наш комбинат выпускает мастику по ГОСТ (следует номер) и является разработчиком указанного стандарта.

В результате исследовательских работ по подбору стандартного метода определения вязкости мастики на комбинате накоплен большой опыт сравнительных данных определения вязкости по двум методам:
- неразбавленной мастики - на нестандартном приборе фабрики им. Петрова;
- раствора мастики - на стандартном вискозиметре ВЗ-4.

Учитывая высокую компетентность сотрудников Вашего института, прошу Вас, в порядке оказания технической помощи нашему предприятию, поручить соответствующей лаборатории провести обработку представленной статистики современными эконометрическими методами и выдать заключение о наличии (или отсутствии) зависимости между указанными выше методами определения вязкости мастики. Ваш5е заключение необходимо для решения спорного вопроса о целесообразности вновь ввести в ГОСТ (следует номер) метода определения вязкости мастики по вискозиметру ВЗ-4, который, по мнению некоторых потребителей, был необоснованно исключен из этого ГОСТ по изменению № 1.

Заранее благодарю Вас за оказанную помощь.

Приложение: статистика на 3 листах.

Главный инженер (Подпись) (Фамилия, имя, отчество)"

Комментарий. Вязкость мастики - один из показателей качества мастики. Измерять этот показатель можно по-разному. И, как оказалось, разные способы измерения дают разные результаты. Ничего необычного в этом нет. Однако поставщику и потребителю следует согласовать способы измерения показателей качества. Иначе достаточно часто поставщик (производитель) будет утверждать, что он выполнил условия контракта, а потребитель заявлять, что нет. Такая конфликтная ситуация иногда называется арбитражной, поскольку для ее решения стороны могут обращаться в арбитражный суд. Простейший метод согласования способов измерения показателей состоит в том, чтобы выбрать один из них и внести в государственный стандарт, который тем самым будет содержать не только описание продукции, перечень ее показателей качества и требований к ним, но и способы измерения этих показателей.

Заключение по статистическим данным, представленным химическим комбинатом. Для каждой из 213 партий мастики представлены два числа - результат измерения вязкости на нестандартном приборе фабрики им. Петрова и результат измерения вязкости на стандартном вискозиметре ВЗ-4. Требуется установить, дают ли два указанных метода сходные результаты. Если они дают сходные результаты, то нет необходимости вводить в соответствующий ГОСТ указание о методе определения вязкости. Если же методы дают существенно различные результаты, то подобное указание ввести необходимо.

Для применения эконометрических методов в рассматриваемой задаче необходимо описать вероятностную модель. Считаем, что статистические данные имеют вид  где x_i  -результат измерения на нестандартном приборе фабрики им. Петрова в i-ой партии, а y_i - результат измерения вязкости на стандартном вискозиметре ВЗ-4 в той же i-ой партии. Пусть a_i - истинное значение показателя качества в i-ой партии. Естественно считать, что указанные выше случайные вектора независимы в совокупности. При этом они не являются одинаково распределенными, поскольку отличаются истинными значениями показателей качества a_i. Принимаем, что при каждом i случайные величины x_i - a_i  и y_i - a_i независимы и одинаково распределены. Это условие и означает однородность в связанных выборках. Параметры связи - величины a_i . Их наличие не позволяет объединить первые координаты в одну выборку, вторую - во вторую, как делалось в случае проверки однородности двух независимых выборок.

В предположении непрерывности функций распределения из условия однородности в связанных выборках вытекает, что

Рассмотрим случайные величины  Из последнего соотношения вытекает, что при справедливости гипотезы однородности для связанных выборок эти случайные величины имеют нулевые медианы. Другими словами, проверка того, что метода измерения вязкости дают схожие результаты, эквивалентна проверке равенства 0 медиан величин Z_i.

Для проверки гипотезы о том, что медианы величин Z_i нулевые, применим широко известный критерий знаков (см., например, справочник [8, с.89-91]). Согласно этому критерию необходимо подсчитать, в скольких партиях и в скольких . Для представленных химическим комбинатом данных  в 187 случаях из 213 и  в 26 случаях из 213.

Если рассматриваемая гипотеза верна, то число W осуществлений события  имеет биномиальное распределение с параметрами p = 1/2 и n = 213. Математическое ожидание М(W)=106,5, а среднее квадратическое отклонение  Следовательно, интервал  - это интервал 84<W<129. Найденное по данным химического комбината значение W=187 лежит далеко вне этого интервала. Поэтому рассматриваемую гипотезу необходимо отвергнуть (на любом используемом в прикладных работах уровне значимости, в частности, на уровне значимости 1%).

Таким образом, статистический анализ показывает, что два метода дают существенно различные результаты - по прибору фабрики им. Петрова результаты измерений, как правило, меньше, чем по вискозиметру ВЗ-4. Это означает, что в соответствующий ГОСТ целесообразно ввести указание на метод определения вязкости.

Система вероятностных моделей при проверке гипотезы однородности для связанных выборок. Как и в случае проверки однородности для независимых выборок, система вероятностных моделей состоит из трех уровней. Наиболее простая модель - на уровне однородности альтернативного признака - уже рассмотрена. Она сводится к проверке гипотезы для биномиального распределения:

Речь идет о "критерии знаков". При справедливости гипотезы однородности число W осуществлений события  имеет биномиальное распределение с вероятностью успеха p = 1/2 и числом испытаний n. Альтернативная гипотеза состоит в том, что вероятность успеха отличается от 1/2:

Гипотезу p = 1/2 можно проверять как непосредственно с помощью биномиального распределения (используя таблицы или программное обеспечение), так и опираясь на теорему Муавра-Лапласа. Согласно этой теореме

при всех х, где Ф(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Из теоремы Муавра-Лапласа вытекает правило принятия решений на уровне значимости 5%: если

то гипотезу однородности связанных выборок принимают, в противном случае отклоняют. Как обычно, при желании использовать другой уровень значимости применяют в качестве критического значения иной квантиль нормального распределения. Использование предельных теорем допустимо при достаточно больших объемах выборки. По поводу придания точного смысла термину "достаточно большой" продолжаются дискуссии. Обычно считается, что несколько десятков (два-три десятка) - это уже "достаточно много". Более правильно сказать, что ответ зависит от задачи, от ее сложности и практической значимости.

Второй уровень моделей проверки однородности связанных выборок - это уровень проверки однородности характеристик, прежде всего однородности математических ожиданий. Исходные данные - количественные результаты измерений (наблюдений, испытаний, анализов, опытов) двух признаков х_j и у_j , j = 1,2,…,n, а непосредственно анализируются их разности Z_j = х_j  - у_{j ,} j = 1,2,…,n. Предполагается, что эти разности независимы в совокупности и одинаково распределены, однако функция распределения неизвестна эконометрику. Необходимо проверить непараметрическую гипотезу

Альтернативная гипотеза также является непараметрической и имеет вид:

Как и в случае проверки гипотезы согласованности для независимых выборок с помощью критерия Крамера-Уэлча, в рассматриваемой ситуации естественно использовать статистику

где

среднее арифметическое разностей, а

выборочное среднее квадратическое отклонение. Из центральной Предельной Теоремы теории вероятностей и теорем о наследовании сходимости, полученных в монографии [11], вытекает, что

при всех х, где Ф(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Отсюда вытекает правило принятия решений на уровне значимости 5%: если

то гипотезу однородности математических ожиданий связанных выборок принимают, в противном случае отклоняют. Как обычно, при желании использовать другой уровень значимости применяют в качестве критического значения иной квантиль нормального распределения. Повторим, что использование предельных теорем допустимо при достаточно больших объемах выборки.

Третий уровень моделей проверки однородности связанных выборок - это уровень проверки однородности (совпадения) функций распределения. Необходимо проверить непараметрическую гипотезу наиболее всеохватного вида:

где

При этом предполагается, что все участвующие в вероятностной модели случайные величины независимы (в совокупности) между собой.

Отметим одно важное свойство функции распределения случайной величины Z. Если случайные величины х и у независимы и одинаково распределены, то для H(x)=P(Z<x) выполнено, как нетрудно видеть, соотношение

H(-x)=1-H(x).

Это соотношение означает симметрию функции распределения относительно 0. Плотность такой функции распределения является четной функцией, ее значения в точках х и (-х) совпадают.

Какого типа отклонения от гипотезы симметрии можно ожидать при альтернативных гипотезах?

Как и в случае проверки однородности независимых выборок, в зависимости от вида альтернативной гипотезы выделяют два подуровня моделей. Рассмотрим сначала альтернативу сдвига

В этом случае распределение Z при альтернативе отличается сдвигом от симметричного относительно 0. Для проверки гипотезы однородности может быть использован критерий знаковых рангов, разработанный Вилкоксоном (см., например, справочник [9, с.46-53]).

Он строится следующим образом. Пусть R(Z_j) является рангом |Z_j| в ранжировке от меньшего к большему абсолютных значений разностей |Z₁|, |Z₂|,…,|Z_n|, j=1,2,…,n. Положим для j=1,2,…,n

Статистика критерия знаковых рангов имеет вид

Таким образом, нужно просуммировать ранги положительных разностей в вариационном ряду, построенном стандартным образом по абсолютным величинам всех разностей.

Для практического использования статистики критерия знаковых рангов Вилкоксона либо обращаются к соответствующим таблицам и программному обеспечению, либо применяют асимптотические соотношения. При выполнении нулевой гипотезы статистика

имеет асимптотическое (при ) стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1. Следовательно, правило принятия решений на уровне значимости 5%: имеет обычный вид если

то гипотезу однородности связанных выборок по критерию знаковых рангов Вилкоксона принимают, в противном случае отклоняют. Как обычно, при желании использовать другой уровень значимости применяют в качестве критического значения иной квантиль нормального распределения. Повторим еще раз, что использование предельных теорем допустимо при достаточно больших объемах выборки.

Альтернативная гипотеза общего вида записывается как

при некотором х₀ . Таким образом, проверке подлежит гипотеза симметрии относительно 0, которую можно переписать в виде

H(x) + H(-x) -1 = 0 .

Для построенной по выборке Z_j = х_j  - у_{j ,} j = 1,2,…,n, эмпирической функции распределения H_n(x) последнее соотношение выполнено лишь приближенно:

Как измерять отличие от 0? По тем же соображениям, что и в предыдущем пункте, целесообразно использовать статистику типа омега-квадрат. Соответствующий критерий был предложен в работе [17]. Он имеет вид

В работе [17] найдено предельное распределение этой статистики:

В табл.1 приведены критические значения статистики типа омега-квадрат для проверки симметрии распределения (и тем самым для проверки однородности связанных выборок), соответствующие наиболее распространенным значениям уровней значимости (расчеты проведены Г.В. Мартыновым).

Табл.1. Критические значения статистики

для проверки симметрии распределения

Значение функции распределения	Уровень значимости	Критическое значение х статистики
0,90	0,10	1,20
0,95	0,05	1,66
0,99	0,01	2,80

Как следует из табл.1, правило принятия решений при проверке однородности связанных выборок в наиболее общей постановке и при уровне значимости 5% формулируется так. Вычислить статистику . Если <1,66, то принять гипотезу однородности. В противном случае - отвергнуть.

Пример. Пусть величины Z_{j ,} j=1,2,…,20, таковы:

20, 18, (-2), 34, 25, (-17), 24, 42, 16, 26, 13, (-23), 35, 21, 19, 8, 27, 11, (-5), 7.

Соответствующий вариационный ряд имеет вид:

(-23)<(-17)<(-5)<(-2)<7<8<11<13<16<18<19<20<21<24<25<26<27<34<35<42.

Для расчета значения статистики  построим табл.2 из 7 столбцов и 20 строк, не считая заголовков столбцов (сказуемого таблицы). В первом столбце указаны номера (ранги) членов вариационного ряда, во втором - сами эти члены, в третьем - значения эмпирической функции распределения при значениях аргумента, совпадающих с членами вариационного ряда. В следующем столбце приведены члены вариационного ряда с обратным знаком, а затем указываются соответствующие значения эмпирической функции распределения. Например, поскольку минимальное наблюдаемое значение равно (-23), то H_n(x)=0 при x<-23, а потому для членов вариационного ряда с 14-го по 20-й в пятом столбце стоит 0. В качестве другого примера рассмотрим минимальный член вариационного ряда, т.е. (-23). Меняя знак, получаем 23. Это число стоит между 13-м и 14-м членами вариационного ряда, 21<23<24. На этом интервале эмпирическая функция распределения совпадает со своим значением в левом конце, поэтому следует записать в пятом столбце значение 0,65. Остальные ячейки пятого столбца заполняются аналогично. На основе третьего и пятого столбцов элементарно заполняется шестой столбец, а затем и седьмой. Остается найти сумму значенийб стоящих в седьмом столбце. Подобная таблица удобна как для ручного счета, так и при использовании электронных таблиц типа Excel.

Табл.2. Расчет значения статистики

для проверки симметрии распределения

j	Z(j)	Hn(Z(j))	-Z(j)	Hn(-Z(j))	Hn(Z(j))+ Hn(-Z(j))-1	(Hn(Z(j))+ Hn(-Z(j))-1)2
1	-23	0,05	23	0,65	-0,30	0,09
2	-17	0,10	17	0,45	-0,45	0,2025
3	-5	0,15	5	0,20	-0,65	0,4225
4	-2	0,20	2	0,20	-0,60	0,36
5	7	0,25	-7	0,10	-0,65	0,4225
6	8	0,30	-8	0,10	-0,60	0,36
7	11	0.35	-11	0,10	-0,55	0,3025
8	13	0,40	-13	0,10	-0,50	0,25
9	16	0,45	-16	0,10	-0,45	0,2025
10	18	0,50	-18	0,05	-0,45	0,2025
11	19	0,55	-19	0,05	-0,40	0,16
12	20	0,60	-20	0,05	-0,35	0,1225
13	21	0,65	-21	0,05	-0,30	0,09
14	24	0,70	-24	0	-0,30	0,09
15	25	0,75	-25	0	-0,25	0,0625
16	26	0,80	-26	0	-0,20	0,04
17	27	0,85	-27	0	-0,15	0,0225
18	34	0,90	-34	0	-0,10	0,01
19	35	0,95	-35	0	-0,05	0,0025
20	42	1,00	-42	0	0	0

Результаты расчетов (суммирование значений по седьмому столбцу табл.2) показывают, что значение статистики =3,055. В соответствии с табл.1 это означает, что на любом используемом в прикладных эконометрических исследованиях уровнях значимости отклоняется гипотеза симметрии распределения относительно 0 (а потому и гипотеза однородности в связанных выборках).

В настоящей главе затронута лишь небольшая часть непараметрических методов анализа числовых эконометрических данных. Обратим вн6имание на непараметрические оценки плотности, которые используются для описания данных, проверки однородности, в задачах восстановления зависимостей и других областях эконометрики. Эконометрические оценки плотности в общем виде рассмотрены в главе 8.