На Западе методы анализа длительностей до момента прекращения находят все большее практическое применение. Модели, построенные на основе длительностей безработицы, используются для оценки эффективности проведения различных государственных программ по переквалификации и профессиональному обучению в Швеции¹. Формирование государственной политики США в отношении табачной промышленности и здравоохранения в 1999 году частично опиралось на исследования продолжительностей употребления молодыми людьми табачных изделий². В мае того же года была опубликована статья, в которой были представлены результаты выявления наиболее значимых факторов, влияющих на продолжительность безработицы в Восточной Германии³. Тем не менее, в России методы анализа длительностей до момента прекращения пока еще не применяются.

Тщательное изучение событий, развивающихся во времени, началось со второй половины XX века. Первые исследования в этой области носили, главным образом, прикладной характер, и их целью являлось вероятностное описание данных, связанных с длительностью какого-либо процесса. Так в одной из первых работ по данной тематике “Статистический анализ последовательностей событий”⁴ приводятся такие примеры как определение условных вероятностей

Исходными данными для определения условных вероятностей в этих примерах являлись так называемые длительности до момента прекращения (duration или time until failure), которые можно определить как интервалы времени между началом наблюдения за объектом и моментом прекращения (failure), при котором объект перестает отвечать заданным для наблюдения свойствам. Так в примере определения условной вероятности возникновения катастроф на угольных шахтах Великобритании роль длительностей до момента прекращения играли временные интервалы между последовательными гибелями десяти или более шахтеров.

Чтобы описать это явление более конкретно, предположим, что при отсутствии цензурирования i-ый объект в выборке объема n имеет длительность до момента прекращения T_i , где T_i – случайная величина. Предположим также, что имеется такой период наблюдения с_i, при котором наблюдение над этим объектом прекращается в момент с_i, если прекращение не произойдет раньше. Тогда в действительности наблюдаются величины X_i = min{T_i, с_i} cовместно с индикаторной переменной

В зависимости от величины с_i можно выделить два вида цензурирования:

• Детерминированное цензурирование, при котором все с_i предполагаются заранее известными (это имеет место, когда, например, единственная причина цензурирования состоит в запланированном окончании испытаний через заранее определенный срок).Частным случаем статического цензурирования является цензурирование, называемое в литературе по этой тематике, цензурированием типа I, при котором все с_i равны: , где величина с задается исследователем).
• Случайное цензурирование типа II, при котором наблюдение прекращается после достижения заранее определенного числа прекращений m, так что с становится случайной величиной.

Определим функцию выживания (survival function), соответствующую Т, как вероятность того, что событие будет длится дольше заранее заданной величины

,

Функция риска (hazard function) можно проинтерпретировать как долю прироста вероятности того, что при условии продолжительности события до момента t оно будет длится еще некоторый короткий интервал времени :

• она наглядно демонстрирует мгновенный “риск”, соответствующий отдельному объекту, работающему в момент времени t;
• если использовать функцию риска, различия между группами объектов иногда бывают более контрастны;
• модели, построенные с помощью функции риска, часто оказываются более удобными в случае цензурирования или нескольких типов моментов прекращений;
• в терминах функции риска особенно просто сравнение всех распределений с экспоненциальным .

• Если в t=t*, то существует положительная временная зависимость, означающая, что вероятность прекращения исследуемого события в ближайший короткий интервал времени увеличивается.
• Если

На основе функции риска строится интегрированная функция риска (integrated hazard function):

.

то и

Выборочной функцией выживания для выборки из n наблюдений при условии отсутствия цензурирования является эмпирическая кумулятивная функция распределения

,

где . Однако, как уже упоминалось выше, практически во всех экспериментах по наблюдению за объектами, связанных со временем, присутствуют цензурированные данные, поэтому необходимо модифицировать эту функцию. Предположим, что моменты прекращения, соответствующие нецензурированным наблюдениям, расположены в порядке возрастания:. Количество нецензурированных моментов прекращения меньше, чем размер выборки n, так как, во-первых, могут присутствовать цензурированные моменты прекращения, а, во-вторых, в выборке могли оказаться моменты прекращения с одинаковыми значениями.

Пусть - количество нереализованных моментов цензурирования, т.е. количество наблюдений, моменты прекращения которых действительно наблюдались, с длительностями при . Очевидно, что при отсутствии в выборке длительностей с совпадающими значениями, все равны единице. Введем также величину , показывающую количество наблюдений, цензурированных в момент времени между и ; в данном случае будет показывать количество наблюдений, продолжающихся дольше, чем длительность , соответствующая наиболее продолжительному нецензурированному наблюдению. Таким образом, величина , которая показывает количество либо незаконченных, либо цензурированных к моменту моментов прекращений, равна

.

Все это позволяет определить оценку функции риска как

т.е. как отношение количества моментов прекращения, которые действительно имели место к моменту , к количеству наблюдений, которые потенциально могли окончится к этому моменту. Соответственно, оценка функции выживания в данном случае будет собой представлять совместную вероятность того, что к моменту событие не завершится:

.

Такую оценку функции выживания называют оценкой Каплана-Мейера (Kaplan-Meier estimator). Преимущества данной оценки заключается в том, что она позволяет учесть наличие цензурирования и одинаковых по длительностям наблюдений в выборке.

Рассмотрим конкретные данные, содержащие информацию о продолжительностях 62 забастовок на промышленных предприятиях США в период с 1968 по 1976 гг (источник данных ⁵). Каждая забастовка проводилась не менее 1000 рабочих, и их главным требованием было повышение заработной платы. Моменты прекращения забастовок происходили сразу после того, как достигалось соглашение по поводу приемлемого для работников уровня заработной платы. Данные приведены в таблице №1.

Графическое представление функции выживания и функции риска позволяет выдвинуть две гипотезы в отношении теоретического распределения длительностей: распределение Вейбулла и логарифмически логистическое распределение. Важным моментом при этом является то, что данные распределения не являются вложенными, то есть при определенном значении параметров они не совпадают (см. таблицу распределений №1 в приложении). Эта особенность выбранных распределений влияет на вид критерия для окончательного выбора гипотезы. Однако в любом случае, если даже гипотетические распределения являются вложенными, для дальнейшего анализа необходимо оценить параметры этих распределений. Такие оценки могут быть получены методом максимального правдоподобия.

Сопоставим каждому объекту, момент прекращения которого наблюдается в момент времени t, сомножитель равный значению плотности распределения моментов прекращения в момент t. Если объект был цензурирован в момент времени с, то ему соответствует сомножитель , равный вероятности того, что момент прекращения какого-либо объекта превысит с. На основании всего этого полная функция правдоподобия (likelihood function) для n независимых объектов, помеченных индексом , имеет вид:

Функции правдоподобия можно представить через другие функции, рассмотренными ранее. Если предположить, что , то эта функция принимает вид

Так как то

что, учитывая равенство , полученное в 2.2, в свою очередь эквивалентно

Обозначив за переменную, принимающую значения 1 для k-го момента прекращения, если он не является цензурированным, и 0, если цензурирование имеет место, логарифмическую функцию правдоподобия можно представить на основе последнего равенства следующим образом:

( n – общее количество моментов прекращения).

Гипотеза #1. Распределение Вейбулла

Гипотеза #2 Логарифмически логистическое распределение.

Так как эти два распределения не являются вложенными, то для выбора гипотезы можно применить информационный критерий Акаике (Akaike information criterion-AIC)* * . В соответствии с этим критерием наиболее подходящем для описания длительностей забастовок на промышленных предприятиях США является распределение Вейбулла, так как для него статистика AIC имеет наименьшее значение.

При выборе теоретического распределения в случае гипотез о вложенных распределениях решающим ограничением, учитывающимся при построении статистик, является ограничение, представляющее собой в векторном виде вектор размерностью p, которое показывает, что определенные параметры рассматриваемых ограничений совпадают.

где - логарифмическая функция правдоподобия с ограничениями , - логарифмическая функция правдоподобия без ограничений. Если гипотеза о распределении верна, то эта статистика имеет асимптотическое распределение с количеством степеней свободы p.

где ( - оценка, полученная без учета ограничений),

- ковариационная матрица оценок параметров.

,

Так как, как правило, ковариационная матрица неизвестна, необходимо использовать ее оценку, например, , где - информационная матрица, полученная на основе выборочной информации в точке , такая что - состоятельная оценка информационной матрицы * * * .

Если гипотеза по поводу распределения моментов прекращения верна, то эта статистика та же, как и предыдущая, имеет асимптотическоераспределение с количеством степеней свободы , равным размерности вектора ограничений r.

где - ковариационная матрица оценок параметров, которая также может быть оценена как , где - матрица, полученная на основании выборочной информации в точке , такая, что - состоятельная оценка . Эта статистика также имеет асимптотическое распределение с p степенями свободы.

Модель пропорциональных рисков достаточно широко используется в экономике и других дисциплинах. Отличительная черта этой модели заключается в том, что функция риска зависит от вектора объясняющих переменных, неизвестного вектора коэффициентов и некоторого так, что

.

В данном случае за принимается так называемая основная функция риска (baseline hazard function), которая соответствовала бы результирующей функции риска при отсутствии влияния экзогенных факторов, т.е. такое, что . Другими словами, основная функция риска показывает эндогенный риск прекращения события. Что же касается множителя , то он не зависит от значений длительностей до момента прекращения и оказывает мультипликативный эффект на результирующий риск прекращения события .

Задача анализа этой модели сводится к оценке двух неизвестных: функции и вектора коэффициентов . Основная функция риска может быть определена на основании выбранной гипотезы о распределении длительностей. При этом имеет место утверждение, что если длительности распределены по закону Вейбулла или простому экспоненциальному закону, то и основная функция риска будет иметь те же функциональные зависимости, что и функции риска, соответствующие этим распределениям, но с другими параметрами. Здесь важно заметить, что значение параметров функции риска могут быть определены только после того, как будет оценен вектор коэффициентов , показывающий влияние экзогенных факторов. Оценка этого вектора может быть получена методом максимального правдоподобия, так называемым частично вероятностным подходом Кокса и сведением к линейной регрессии и дальнейшей ее оценкой МНК.

Учитывая, что функция риска в модели пропорциональных рисков задается следующим образом , логарифмическая функция правдоподобия будет выглядеть как

,

где - индикаторная переменная, равная единице, если i-ое наблюдение нецензурировано.

и из гипотезы о том, что длительности забастовок распределены в соответствии с законом Вейбулла, принять в качестве начального приближения (это означает, что эндогенная функция риска имеет вид, определяемый экспоненциальным законом распределения, который является частным случаем распределения Вейбулла), то

.

( Нелишне заметить, что такая спецификация модели вполне естественна на первом этапе анализ зависимостей длительностей от экзогенных факторов, когда отсутствует полная информация о виде основной функции риска. Дальнейший анализ остатков, теоретических значений результирующей функции риска и расчетных значений, полученных на основе начальных приближений , позволяет более точно провести спецификацию модели).

.

Если для модели, объясняющей длительность забастовок, принять , где коэффициент показывает ожидаемый уровень влияния экзогенных факторов на риск прекращения забастовки в случае, когда промышленное производство находится в стабильном состоянии, то результатом оценивания методом максимального правдоподобия модели пропорциональных рисков для длительностей забастовок является оценка, приведенная в таблице №3.

Одним из самых важных результатов оценивания вектора параметров в данном случае является, то что коэффициент имеет отрицательный знак. Это говорит о том, что даже если экономика находится в стабильном состоянии развития, на промышленных предприятиях существует тенденция к продолжению забастовок ( негативно влияет на риск урегулирования забастовки). Выполнение требований бастующих в этом случае усиливает инфляционные тенденции в экономики, так как уровень заработной платы выше реальной стоимости трудовых ресурсов.

Частично вероятностный подход, предложенный в работах Кокса в 1972 и 1975 гг., может быть применен к оцениванию вектора параметров без определения вида основной функции риска . Пусть моменты прекращения расположены в следующем порядке: . Если среди наблюдений нет цензурированных данных, тогда условная вероятность того, что первое наблюдение включает событие, длительность которого , при условии, что любое из n наблюдений могло бы быть окончено к моменту времени , есть

.

На основании предположения модели пропорциональных рисков о том, что , эта выражение выглядит как

и может быть проинтерпретировано как вклад в полную вероятность того, что завершаться к определенным моментам времени, наблюдения, которому соответствует самый короткий момент прекращения. Аналогичным способом определяется эта, если так можно выразится, частичная вероятность и для j наблюдения:

,

и далее находим оценки методом максимального правдоподобия. Здесь особое внимание следует обратить на то, что оценивание вектора параметров возможно и без наличия информации об основной функции риска.

Теперь усложним использования данного метода оценки неизвестного вектора параметров, рассмотрев случая с наличием цензурированных данных. Эта проблема достаточно легко решается следующим образом. Наблюдение, момент прекращения которого был цензурирован в момент времени между и , учитывается при определении частичного вклада j+1-го наблюдения в полную вероятность как одна из компонент суммы в знаменателе дроби, представляющей собой частичную вероятность.

Результаты оценки параметров модели пропорциональных рисков продолжительностей забастовок для случая подходом Кокса приведены в таблице №7. Здесь следует заметить, что такой подход не дает оценку параметра в силу спецификации функции .

Пользуясь свойством функции выживания , где , получаем, что при заданной в предыдущих пунктах спецификации модели

Тогда интегрированная функция риска равна .

Рассмотрим случайную переменную

Несмотря на то, что распределение этой величины отличается от нормального распределения, оценивание вектора объясняющих переменных можно производить посредством МНК как вектор коэффициентов линейной регрессии относительно следующего вида:

,

где , а рассматривается в качестве остатков. Однако у оценок, полученных этим способом, будет отсутствовать свойство эффективности. Кроме того, для получения наилучшей оценки необходимо построить некоторое количество регрессий, перебрав все наиболее вероятные функциональные зависимости интегральной функции риска, и выбрать ту регрессию, которой будет соответствовать наибольший коэффициент детерминации или же воспользоваться информационными критериями. Потерю этого свойства можно избежать, оценивая параметры методом максимального правдоподобия, как это описывалось выше.

Если основная функция выживания, которая определяется по аналогии с основной функцией риска, как функция выживания без учета влияния экзогенных факторов, есть такое, что , то в этой модели рассматривается следующий вид этой функции:

,

причем именно отвечает за изменение масштаба времени.

В этом случае функция риска, определяемая на основе F, - это

.

Из соображений удобства для оценки вектора параметров чаще всего берут оценку вектора параметров в случае . Используя переменную величину , можно свести модель ускоренных испытаний к линейной регрессии вида

,

где функция распределения определяется следующим образом

а плотность распределения

Для примера с длительностями забастовок оценки параметров следующие: , .

• модель пропорциональных рисков,
• модель ускоренных испытаний.

1. Brännäs, K. Estimation in duration model for evaluating of educational programs// Discussion paper, No.103 (January 2000).
2. Tauras, J. The transition of smoking cessation: evidence from multiple failure duration analysis// http://www.nber.org/papers/w7412.
3. Hunt, J. Determinants of non-employment and unemployment durations in East Germany// http://www.nber.org/papers/w7128.
4. Д. Кокс, П. Льюис “Статистический анализ последовательностей событий”, М.: “Мир”,1969.
5. Kiefer, N. Economic duration data and hazard functions// Journal of economic literature, vol. XXVI (June 1988), pp. 646-679.
6. Heckman, J., Singer, B. Econometric duration analysis //Journal of econometrics, 24 (1984), pp.63-132.
7. Greene, W. H. "Econometric analysis", 4th ed. Prentice Hall, 2000.
8. Prentice, K. Regression analysis of grouped survival data with application to breast cancer data //Biometrics, 34, pp. 57-67.
9. Newman J., McCulloch, C. A hazard rate approach to the timing of births// Econometrica, vol. 52, No. 4 (July, 1984).
10. Д.Р. Кокс, Д. Оукс “Анализ данных типа времени жизни”, М.:Финансы и статистика, 1988.
11. Nickell, S. Estimating the probability of leaving unemployment // Ecnometrica, vol. 47, No. 5 (September, 1979).
12. Rëd, K, Zhang, T. A note on Weibull distribution and time aggression bias// http://www.oeconomi.uio.no/memo/index.shtml.
13. А.А. Цыплаков “Некоторые эконометрические методы. Метод максимального правдоподобия в эконометрии”, Новосибирск: НГУ, 1997.

Таблица №1. Теоретические распределения, наиболее часто применяющиеся для описания длительностей.