Глава 2. Статистические методы в пространствах произвольной природы

2.5. Непараметрические оценки плотности  

          Эмпирическая функция распределения – это состоятельная непараметрическая оценка функции распределения числовой случайной величины. А как оценить плотность? Если формально продифференцировать эмпирическую функцию распределения, то получим бесконечности в точках, соответствующих элементам выборки, и 0 во всех остальных. Ясно, что это не оценка плотности.

          Как же действовать? Каждому элементу выборки соответствует в эмпирическом распределении вероятность 1/n, где n – объем выборки. Целесообразно эту вероятность не помещать в одну точку, а «размазать» вокруг нее, построив «холмик». Если «холмики» налегают друг на друга, то получаем положительную плотность на всей прямой. Чтобы получить состоятельную оценку плотности, необходимо выбирать ширину «холмика» в зависимости от объема выборки. При этом число «холмиков», покрывающих фиксированную точку, должно безгранично расти. Но одновременно доле таких «холмиков» следует убывать, поскольку покрывающие «холмики» должны быть порождены лишь ближайшими членами вариационного ряда.

          Реализация описанной идеи привела к различным вариантам непараметрических оценок плотности. Основополагающей является работа Н.В.Смирнова 1951 г. [23]. Вначале рассматривались непараметрические оценки плотности распределения числовых случайных величин и конечномерных случайных векторов. В 1980-х годах удалось сконструировать такие оценки в пространствах произвольной природы [24], а затем и для конкретных видов нечисловых данных [25].

          О гистограммах. При описании числовых данных часто используют гистограммы. При этом область изменения случайной переменной разбивают на интервалы равной длины, подсчитывают число попаданий в каждый интервал и строят соответствующую столбиковую диаграмму. Она напоминает график плотности. И действительно, Н.В. Смирнов показал в работе [23], что последовательность гистограмм при определенных условиях сходится к плотности.

          Процедура построения гистограммы зависит от субъективного мнения статистика. Не существует научно обоснованных правил выбора числа интервалов и их длины. Рекомендации по этому поводу, приводимые в различных изданиях, отражают лишь традицию и/или субъективное мнение авторов.

          К настоящему времени разработано много методов оценивания плотности распределения. О некоторых из них речь пойдет ниже. Что же касается гистограмм, то с научной точки зрения их надо отнести к истории статистики.

          Непараметрические оценки плотности в пространствах произвольной природы. Сначала рассмотрим непараметрические оценки плотности в наиболее общей ситуации. Напомним, что в нечисловой статистике выделяют общую теорию и статистику в конкретных пространствах нечисловой природы (например, статистику ранжировок). В общей теории есть два основных сюжета. Один связан со средними величинами и асимптотическим поведением решений экстремальных статистических задач, второй - с непараметрическими оценками плотности. Первый сюжет рассмотрен выше, второму посвящен настоящий раздел.

          Понятие плотности в пространстве произвольной природы Х требует специального обсуждения. В пространстве Х должна быть выделена некоторая специальная мера , относительно которой будут рассматриваться плотности, соответствующие другим мерам, например, мере , задающей распределение вероятностей некоторого случайного элемента . В таком случае (А) = Р(А) для любого случайного события А. Плотность f(x), соответствующая мере  - это такая функция, что

для любого случайного события А. Для случайных величин и векторов мера  - это объем множества А, в математических терминах - мера Лебега. Для дискретных случайных величин и элементов со значениями в конечном множестве Х в качестве меры  естественно использовать считающую меру, которая событию А ставит в соответствие число его элементов. Используют также нормированную случайную меру, когда число точек в множестве А делят на число точек во всем пространстве Х. В случае считающей меры значение плотности в точке х совпадает с вероятностью попасть в точку х, т.е. f(x) = Р(ξ = х). Таким образом, с рассматриваемой точки зрения стирается грань между понятиями «плотность вероятности» и «вероятность (попасть в точку)».

           Как могут быть использованы непараметрические оценки плотности распределения вероятностей в пространствах нечисловой природы? Например, для решения задач классификации (диагностики, распознавания образов - см. раздел 2.8). Зная плотности распределения классов, можно решать основные задачи диагностики - как задачи выделения кластеров, так и задачи отнесения вновь поступающего объекта к одному из диагностических классов. В задачах кластер-анализа можно находить моды плотности и принимать их за центры кластеров или за начальные точки итерационных методов типа k-средних или динамических сгущений. В задачах собственно диагностики (дискриминации, распознавания образов с учителем) можно принимать решения о диагностике объектов на основе отношения плотностей, соответствующих классам. При неизвестных плотностях представляется естественным использовать их состоятельные оценки.

           Методы оценивания плотности вероятности в пространствах общего вида предложены и первоначально изучены в работе [24]. В частности, в задачах диагностики объектов нечисловой природы предлагаем использовать непараметрические ядерные оценки плотности типа Парзена - Розенблатта (этот вид оценок и его название впервые были введены в статье [24] ). Они имеют вид:

 где К:  - так называемая ядерная функция, x₁, x₂, …, x_n  X, - выборка, по которой оценивается плотность, d(x_i , x) - показатель различия (метрика, расстояние, мера близости) между элементом выборки x_i  и точкой x, в которой оценивается плотность, последовательность h_n  показателей размытости такова, что h_n 0 и nh_n при , а  - нормирующий множитель, обеспечивающий выполнение условия нормировки (интеграл по всему пространству от непараметрической оценки плотности f_n(x) по мере  должен равняться 1). Ранее американские исследователи Е. Парзен и М. Розенблатт использовали подобные статистики в случае  с d(x_i , x) = |x_i  - x| .

           Введенные описанным образом ядерные оценки плотности - частный случай так называемых линейных оценок, также впервые предложенных в работе [24]. В теоретическом плане они выделяются тем, что удается получать результаты такого же типа, что в классическом одномерном случае, но, разумеется, с помощью совсем иного математического аппарата.

           Свойства непараметрических ядерных оценок плотности. Рассмотрим выборку со значениями в некотором пространстве произвольного вида. В этом пространстве предполагаются заданными показатель различия d и мера . Одна из основных идей рассматриваемого подхода состоит в том, чтобы согласовать их между собой. А именно, на их основе построим новый показатель различия d₁ , так называемый "естественный", в терминах которого проще формулируются свойства непараметрической оценки плотности. Для этого рассмотрим шары  радиуса t > 0 и их меры F_x(t) = (L_t(x)). Предположим, что F_x(t) как функция t при фиксированном x непрерывна и строго возрастает. Введем функцию d₁(x,y)= F_x(d(x,y)). Это - монотонное преобразование показателя различия или расстояния, а потому d₁(x,y) - также показатель различия (даже если d - метрика, для d₁ неравенство треугольника может быть не выполнено). Другими словами, d₁(x,y), как и d(x,y), можно рассматривать как показатель различия (меру близости) между x и y.

           Для вновь введенного показателя различия d₁(x,y) введем соответствующие шары . Поскольку обратная функция F ^-1_x(t) определена однозначно, то

,

где T = F ^-1_x(t). Следовательно, справедлива цепочка равенств F¹_х(t) = (L_1t(x)) = (L_T(x)) = F_x(F ^-1_x(t)) = t (для всех тех значений параметра t, для которых определены все участвующие в записи математические объекты).

           Переход от d к d₁ напоминает классическое преобразование, использованное Н.В. Смирновым при изучении непараметрических критериев согласия и однородности, а именно, преобразование , переводящее случайную величину  с непрерывной функцией распределения F(x) в случайную величину , равномерно распределенную на отрезке [0,1]. Оба рассматриваемых преобразования существенно упрощают дальнейшие рассмотрения. Преобразование d₁= F_x(d) зависит от точки x, что не влияет на дальнейшие рассуждения, поскольку ограничиваемся изучением сходимости в отдельно взятой точке.

           Функцию d₁(x,y), для которой мера шара радиуса t равна t, называем в соответствии с работой [24] «естественным показателем различия» или «естественной метрикой». В случае конечномерного пространства R^k и евклидовой метрики d имеем d₁(x,y) = c_k d^k(x,y), где c_k  - объем шара единичного радиуса в R^k .

           Поскольку можно записать, что

,

где

,

 то переход от одного показателя различия к другому, т.е. от d к d₁, соответствует переходу от одной ядерной функции к другой, т.е. от K к K₁. Выгода от такого перехода заключается в том, что утверждения о поведении непараметрических оценок плотности приобретают более простую формулировку.

           Теорема 5. Пусть d - естественная метрика, плотность f непрерывна в точке x и ограничена на всем пространстве X , причем f(x)>0, ядерная функция K(u) удовлетворяет простым условиям регулярности

.

Тогда _n(h_n ,x) = nh_n, оценка f_n(x) является состоятельной, т.е. f_n(x) f(x) по вероятности при n и, кроме того,

           Теорема 5 доказывается методами, развитыми в работе [24]. Однако остается открытым вопрос о скорости сходимости ядерных оценок, в частности, о поведении величины _n = M(f_n(x)-f(x))² - среднего квадрата ошибки,  и об оптимальном выборе показателей размытости h_n . Для того, чтобы продвинуться в решении этого вопроса, введем новые понятия. Для случайного элемента X() со значениями в X рассмотрим т.н. круговое распределение G(x,t) = P{d(X(), x)<t} и круговую плотность g(x,t)= G'_t(x,t).

           Теорема 6. Пусть ядерная функция K(u) непрерывна и финитна, т.е. существует число E такое, что K(u)=0 при u>E. Пусть круговая плотность является достаточно гладкой, т.е. допускает разложение

при некотором натуральном k, причем остаточный член равномерно ограничен на [0,hE]. Пусть

Тогда

           Доказательство теоремы 6 проводится с помощью  разработанной в нечисловой статистике математической техники, образцы которой представлены, в частности, в работе [24]. Если коэффициенты при основных членах в правой части последней формулы не равны 0, то величина _n достигает минимума, равного при  Эти выводы совпадают с классическими результатами, полученными ранее рядом авторов для весьма частного случая прямой X = R¹ (см., например, монографию [18, с.316]). Заметим, что для уменьшения смещения оценки приходится применять знакопеременные ядра K(u).

           Непараметрические оценки плотности в конечных пространствах [25]. В случае пространств из конечного числа элементов естественных метрик не существует. Однако можно получить аналоги теорем 5 и 6, переходя к пределу не только по объему выборки n, но и по новому параметру дискретности m.

           Рассмотрим некоторую последовательность X_m , m = 1, 2, … , конечных пространств. Пусть в X_m заданы показатели различия d_m . Будем использовать нормированные считающие меры  ставящие в соответствие каждому подмножеству А долю элементов всего пространства X_m , входящих в А. Как и ранее, рассмотрим как функцию t объем шара радиуса t, т.е.

Введем аналог естественного показателя различия  Наконец, рассмотрим аналоги преобразования Смирнова  Функции , в отличие от ситуации предыдущего раздела, уже не совпадают тождественно с t, они кусочно-постоянны и имеют скачки в некоторых точках t_i, i = 1, 2, …, причем в этих точках

           Теорема 7. Пусть точки скачков равномерно сближаются, т.е.  при  (другими словами, -t| при ). Тогда существует последовательность параметров дискретности m_n такая, что при предельном переходе  справедливы заключения теорем 5 и 6.

           Пример 1. Пространство  всех подмножеств конечного множества  из m элементов допускает (см. главу 1 или монографию [1]) аксиоматическое введение метрики  где  - символ симметрической разности множеств. Рассмотрим непараметрическую ядерную оценку плотности типа Парзена - Розенблатта

где  - функция нормального стандартного распределения. Можно показать, что эта оценка удовлетворяет условиям теоремы 7 с

           Пример 2. Рассмотрим пространство функций  определенных на конечном множестве , со значениями в конечном множестве  Это пространство можно интерпретировать как пространство нечетких множеств (см. главу 1), а именно, Y_r - носитель нечеткого множества, а Z_q - множество значений функции принадлежности. Очевидно, число элементов пространства X_m равно (q+1)^r . Будем использовать расстояние  в этом пространстве. Непараметрическая оценка плотности имеет вид:

Если , то при > выполнены условия теоремы 7, а потому справедливы теоремы 5 и 6.

           Пример 3. Рассматривая пространства ранжировок m объектов, в качестве расстояния d(A,B) между ранжировками A и B примем минимальное число инверсий, необходимых для перехода от A к B. Тогда max(t_i -t_i-1) не стремится к 0 при , условия теоремы 7 не выполнены.

           Пример 4. В прикладных работах наиболее распространенный пример объектов нечисловой природы – вектор разнотипных данных: реальный объект описывается вектором, часть координат которого - значения количественных признаков, а часть - качественных (номинальных и порядковых). Для пространств разнотипных признаков, т.е. декартовых произведений непрерывных и дискретных пространств, возможны различные постановки. Пусть, например, число градаций качественных признаков остается постоянным. Тогда непараметрическая оценка плотности сводится к произведению двух величин - частоты попадания в точку в пространстве качественных признаков и классической оценки типа Парзена-Розенблатта в пространстве количественных переменных. В общем случае расстояние d(x,y) можно, например, рассматривать как сумму трех расстояний. А именно, евклидова расстояния d₁ между количественными факторами, расстояния d₂ между номинальными признаками (d₂(x,y) = 0, если x = y, и d₂(x,y) = 1, если ) и расстояния d₃ между порядковыми переменными (если x и y - номера градаций, то d₃(x,y) = |x - y|). Наличие количественных факторов приводит к непрерывности и строгому возрастанию функции F_mx(t), а потому для непараметрических оценок плотности в пространствах разнотипных признаков верны теоремы 5 - 6.

           Программная реализация описания данных с помощью непараметрических оценок плотности включена в ряд программных продуктов по прикладной статистике, в частности, в пакет программ анализа данных ППАНД [26].