Next: Распределения, связанные с нормальным Up: Оглавление Previous: Вопросы и упражнения

5. Интервальное оценивание

Пусть, как обычно, имеется выборка ${\mathbf X}=(X_1, \ldots, X_n)$ из распределения $\mathscr F_\theta$ с неизвестным параметром $\theta\in\Theta\subseteq{\textrm{\upshape I\kern-0.20em R}}$ . До сих пор мы занимались «точечным оцениванием» неизвестного параметра — находили число («оценку»), способную, в некотором смысле, заменить параметр.

Существует другой подход к оцениванию, при котором мы указываем интервал, накрывающий параметр с заданной наперед вероятностью. Такой подход называется «интервальным оцениванием». Сразу заметим: чем больше уверенность в том, что параметр лежит в интервале, тем шире интервал. Так что мечтать найти диапазон, в котором $\theta$ лежит с вероятностью 1, бессмысленно — это вся область $\Theta$ .

Определение 13.

Пусть $0{<}\varepsilon{<}1$ . Интервал $(\theta^-,\theta^+) = \left(\theta^-({\mathbf X},\,\varepsilon),~ \theta^+({\mathbf X},\,\varepsilon)\right)$ называется доверительным интервалом для параметра $\theta$ уровня доверия $1-\varepsilon$ , если для любого $\theta \in \Theta$

$\begin{displaymath} {\mathsf P}_\theta\,\left(\theta^- < \theta < \theta^+\right) \geqslant 1-\varepsilon.\end{displaymath}$

Определение 14.

Пусть $0{<}\varepsilon{<}1$ . Интервал $(\theta^-,\theta^+) = \left(\theta^-({\mathbf X},\,\varepsilon),~ \theta^+({\mathbf X},\,\varepsilon)\right)$ называется асимптотическим доверительным интервалом для параметра $\theta$ (асимптотического) уровня доверия $1-\varepsilon$ , если для любого $\theta \in \Theta$

$\begin{displaymath} \liminf_{n\to\infty} \, {\mathsf P}_\theta\,\left(\theta^- < \theta < \theta^+\right) \geqslant 1-\varepsilon.\end{displaymath}$

На самом деле в определении 14 речь идет, конечно, не об одном интервале, но о последовательности интервалов, зависящих от объема выборки .

Замечание 11.

Случайны здесь границы интервала $(\theta^-,\theta^+)$ , поэтому читают формулу ${\mathsf P}_\theta\,\left(\theta^- < \theta < \theta^+\right)$ как «интервал $(\theta^-,\theta^+)$ накрывает параметр $\theta$ », а не как « $\theta$ лежит в интервале...».

Замечание 12.

Неравенство « $\geqslant$ $1-\varepsilon$ » обычно соответствует дискретным распределениям, когда нельзя обязаться добиться равенства: например, для $\xi\in{\rm B}_{1/2}$ при любом равенство ${\mathsf P}\,(\xi<x)=0{,}25$ невозможно, а неравенство имеет смысл:

$\begin{displaymath} {\mathsf P}\,(\xi<x)\geqslant 0{,}25 \quad \textrm{ для } \quad x\gt.\end{displaymath}$

Если вероятность доверительному интервалу накрывать параметр в точности равна $1-\varepsilon$ (или стремится к $1-\varepsilon$ ), интервал называют точным (или асимптотически точным) доверительным интервалом уровня доверия $1-\varepsilon$ .

Прежде чем рассматривать какие-то регулярные способы построения точных и асимптотических ДИ (доверительных интервалов), разберем два примера, предлагающих очень похожие способы. Далее мы попробуем извлечь из этих примеров некоторую общую философию построения точных и асимптотически точных доверительных интервалов. Начнем с нормального распределения как с наиболее важного и часто встречающегося.

Пример 23.

Пусть , $\ldots$ , — выборка объема из нормального распределения ${\mathsf N}_{a,\sigma^2}$ , где $a\in {\textrm{\upshape I\kern-0.20em R}}$ — неизвестный параметр, а $\sigma\gt$ известно. Требуется построить точный ДИ для параметра уровня доверия $1-\varepsilon$ .

Вспомним, что нормальное распределение устойчиво по суммированию: доказать бы!

Свойство 6.

Пусть $\xi_1$ имеет нормальное распределение ${\mathsf N}{\!}_{a_1,\sigma_1^2}$ , $\xi_2$ имеет нормальное распределение ${\mathsf N}{\!}_{a_2,\sigma_2^2}$ , и эти случайные величины независимы. Тогда $\eta=b\xi_1+c\xi_2+d$ имеет нормальное распределение с параметрами

$\begin{displaymath} {\mathsf E}\,\eta=b\,a_1+c\,a_2 + d, \qquad {\mathsf D}\,\eta=b^2\sigma_1^2+c^2\sigma_2^2.\end{displaymath}$

Поэтому
случайная величина

случайная величина

случайная величина
$\begin{eqnarray*} &&\sum_1^n X_i ...ne X-a}{\sigma} {\mathsf N}_{0,1}.\end{eqnarray*}$ имеет распределение ,

имеет распределение ,

имеет распределение .

Итак, величина $\eta=\sqrt{n}\dfrac{\overline X-a}{\sigma}$ имеет стандартное нормальное распределение.

По заданному $\varepsilon\in (0,1)$ найдем число $c\gt$ такое, что ${\mathsf P}\,(-c < \eta < c)=1-\varepsilon$ . Число — квантиль уровня $1-\varepsilon/2$ стандартного нормального распределения:

$\begin{multline*} {\mathsf P}\,(-c < \eta < c)=\Phi_{0,1}(c)-\Phi_{0,1}(-c)=\cr = \Phi_{0,1}(c)-(1-\Phi_{0,1}(c))=2\Phi_{0,1}(c)-1=1-\varepsilon,\end{multline*}$

или $\Phi_{0,1}(c)=1-\frac{\varepsilon}{2}$ .

Напоминание:

Определение 15.

Пусть распределение $\mathscr F$ с функцией распределения абсолютно непрерывно. Число $\tau_\delta$ называется квантилью уровня $\delta$ распределения $\mathscr F$ , если $F(\tau_\delta)=\delta$ . Если функция монотонна, квантиль определяется единственным образом.

Общее определение квантили см. здесь.

Итак, $c=\tau_{1-\varepsilon/2}$ , или $-c=\tau_{\varepsilon/2}$ (квантили стандартного нормального распределения).

Рис. 7: Плотность стандартного нормального распределения и квантили.

$\begin{figure} \begin{center} \unitlength 1mm \linethickness {0.5pt} \begin{p... ...{\makebox(0,0)[cc]{\small $1-\varepsilon$}}\end{picture}\end{center}\end{figure}$

**Рис. 7:** Плотность стандартного нормального распределения и квантили.
$\begin{figure} \begin{center} \unitlength 1mm \linethickness {0.5pt} \begin{p... ...{\makebox(0,0)[cc]{\small $1-\varepsilon$}}\end{picture}\end{center}\end{figure}$

Разрешив неравенство $-c<\eta<c$ относительно , получим точный доверительный интервал

$\begin{multline} 1-\varepsilon={\mathsf P}\,{\!}_{a}(-c < \eta < c)= {\mathsf P}... ...gma}{\sqrt{n}}< a < \overline X + \frac{c\sigma}{\sqrt{n}}\right).\end{multline}$ (13)

Можно подставить $c=\tau_{1-\varepsilon/2}$ :

$\begin{displaymath} {\mathsf P}\,{\!}_{a}\left(\overline X - \frac{\tau_{1-\vare... ...c{\tau_{1-\varepsilon/2}\sigma}{\sqrt{n}}\right)=1-\varepsilon.\end{displaymath}$

Итак, искомый точный доверительный интервал уровня доверия $1-\varepsilon$ имеет вид

$\begin{displaymath} \left(\overline X - \dfrac{\tau_{1-\varepsilon/2}\sigma}{\sq... ...line X + \dfrac{\tau_{1-\varepsilon/2}\sigma}{\sqrt{n}}\right). \end{displaymath}$

Вопросы, на которые стоит себе ответить.

1. Зачем мы брали симметричные квантили? Почему не брать границы для $\eta$ вида ${\mathsf P}\,(\tau_{\varepsilon/3}<\eta<\tau_{1-2\varepsilon/3})=1-\varepsilon$ ? Изобразить эти квантили на графике плотности. Как изменилось расстояние между квантилями? Как изменится длина ДИ?

2. Какой из двух ДИ одного уровня доверия и разной длины следует предпочесть?

3. Какова середина полученного в примере 23 ДИ? Какова его длина? Что происходит с границами ДИ при $n\to\infty$ ?

Пример 24.

Пусть , $\ldots$ , — выборка объема из показательного распределения ${\mathsf E}\,{\!}_\alpha$ , где $\alpha\gt$ . Требуется построить асимптотический (асимптотически точный) ДИ для параметра $\alpha$ уровня доверия $1-\varepsilon$ .

Вспомним ЦПТ:

$\begin{displaymath} \dfrac{\sum\limits_1^n X_i-n\,{\mathsf E}\,{\!}_\alpha X_1}{... ...sqrt{n}\, \left(\alpha\overline X - 1\right) \Rightarrow \eta, \end{displaymath}$

где случайная величина $\eta$ имеет стандартное нормальное распределение. По определению слабой сходимости, при $n\to\infty$

$\begin{displaymath} {\mathsf P}\,{\!}_\alpha\left(-c< \sqrt{n} \,\left(\alpha\ov... ...c)=1-\varepsilon \quad \textrm{ при } c=\tau_{1-\varepsilon/2}.\end{displaymath}$

То есть

$\begin{multline*} {\mathsf P}\,{\!}_\alpha\left(-\tau_{1-\varepsilon/2} < \sqrt{... ...ine X} \right) \to 1-\varepsilon \quad \textrm{ при } n\to\infty.\end{multline*}$

Итак, искомый асимптотический ДИ уровня доверия $1-\varepsilon$ имеет вид

$\begin{displaymath} \left(\dfrac{1}{\overline X}-\dfrac{\tau_{1-\varepsilon/2}}{... ...}+\dfrac{\tau_{1-\varepsilon/2}}{\sqrt{n}~\overline X} \right).\end{displaymath}$

Сформулируем общий принцип построения точных ДИ:

1.

Найти функцию $G({\mathbf X},\theta)$ , распределение которой $\cal G$ не зависит от параметра $\theta$ . Необходимо, чтобы $G({\mathbf X},\theta)$ была обратима по $\theta$ при любом фиксированном ${\mathbf X}$ .

2.

Пусть числа

— квантили распределения $\cal G$ такие, что

$\begin{displaymath} 1-\varepsilon={\mathsf P}_\theta\,(g_1 < G({\mathbf X},\theta) < g_2).\end{displaymath}$

3.

Разрешив неравенство $g_1 < G({\mathbf X},\theta) < g_2$ относительно $\theta$ (если это возможно), получим точный ДИ.

Совершенно аналогично выглядит общий принцип построения асимптотических ДИ:

1.

Найти функцию $G({\mathbf X},\theta)$ , слабо сходящуюся к распределению $\cal G$ , не зависящему от параметра $\theta$ . Необходимо, чтобы $G({\mathbf X},\theta)$ была обратима по $\theta$ при любом фиксированном ${\mathbf X}$ .

2.

Пусть

— квантили распределения $\cal G$ такие, что

$\begin{displaymath} {\mathsf P}_\theta\,(g_1 < G({\mathbf X},\theta) < g_2)\to{\mathsf P}_\theta\,(g_1 < \eta < g_2)=1-\varepsilon.\end{displaymath}$

3.

Разрешив неравенство $g_1 < G({\mathbf X},\theta) < g_2$ относительно $\theta$ , получим асимптотический ДИ.

Замечание 13.

Часто в качестве и берут квантили уровня $\varepsilon/2$ и $1-\varepsilon/2$ распределения $\cal G$ . Но, вообще говоря, квантили следует выбирать так, чтобы получить наиболее короткий ДИ.

Пример 25.

Попробуем, пользуясь приведенной выше схемой, построить точный доверительный интервал для параметра $\theta\gt$ равномерного на $[\theta,2\theta]$ распределения. Мы знаем, что если имеют распределение ${\mathsf U}_{\theta,2\theta}$ , то $Y_i=\dfrac{X_i}{\theta}-1$ имеют распределение ${\mathsf U}_{0,1}$ . Тогда величина

$\begin{displaymath} Y_{(n)}=\max\{Y_1,\ldots,Y_n\}= \dfrac{\max\left\{X_1,\ldots... ...t\}}{\theta}-1=\dfrac{X_{(n)}}{\theta}-1 =G({\mathbf X},\theta)\end{displaymath}$

распределена так же, как максимум из независимых равномерно распределенных на $[0,\,1]$ случайных величин, то есть имеет не зависящую от параметра $\theta$ функцию распределения

$\begin{displaymath} F_{Y_{(n)}}(y)={\mathsf P}\,{\!}_\theta(\eta<y)=\begin{cases} 0, & y<0 \cr y^n, & y\in[0,\,1] \cr 1, & y\gt 1.\end{cases}\end{displaymath}$

Для любых положительных и

$\begin{multline} {\mathsf P}_\theta\,\left(g_1 < G({\mathbf X},\theta) < g_2\rig... ...eft(\frac{X_{(n)}}{g_2+1} < \theta < \frac{X_{(n)}}{g_1+1}\right).\end{multline}$ (14)

Длина доверительного интервала равна $X_{(n)}\cdot (g_2-g_1)/\bigl((g_1+1)(g_2+1)\bigr)$ и уменьшается с ростом и и с их сближением.

Плотность распределения $Y_{(n)}$ на отрезке $[0,\,1]$ равна $ny^{n-1}$ и монотонно возрастает. Поэтому самые большие значения квантилей и при самом маленьком расстоянии между ними и при фиксированной площади под графиком плотности достигается выбором , а такого, чтобы $1-\varepsilon={\mathsf P}\,{\!}_\theta(g_1<Y_{(n)}<1)$ .

$\begin{displaymath} {\mathsf P}\,{\!}_\theta(g_1<Y_{(n)}<1)=F_{Y_{(n)}}(1)-F_{Y_... ...1^n=1-\varepsilon, \textrm{ т.\,е. } g_1=\sqrt[n]{\varepsilon}.\end{displaymath}$

Подставим найденные квантили в (14):

$\begin{displaymath} 1-\varepsilon={\mathsf P}\,{\!}_\theta\left(\sqrt[n]{\vareps... ...}{2} < \theta < \frac{X_{(n)}}{1+\sqrt[n]{\varepsilon}}\right).\end{displaymath}$

Упражнение. Можно ли, пользуясь схемой примера 23, построить точный ДИ для $\sigma$ при известном

, если разрешить неравенство $-c<\eta<c$ в (13) относительно $\sigma$ ?
Можно предположить, например, что $\overline X-a\gt$ . Чем плох интервал бесконечной длины? А получился ли у Вас интервал бесконечной длины?

Из упражнения видно, что функция вида $\sqrt{n}\,\dfrac{\overline X-a}{\sigma}$ не годится для построения точного ДИ для $\sigma$ при известном , а тем более при неизвестном . В следующей главе мы займемся поиском подходящих функций. Следующий пример (как и пример 24) показывает, что ЦПТ дает универсальный вид функции для построения асимптотических ДИ.

Пример 26.

Пусть , $\ldots$ , — выборка объема из распределения Пуассона $\text{\boldmath\ensuremath \Pi}_\lambda$ , где $\lambda\gt$ . Требуется построить асимптотический ДИ для параметра $\lambda$ уровня доверия $1-\varepsilon$ . Вспомним ЦПТ:

$\begin{displaymath} \dfrac{\sum\limits_1^n X_i-n{\mathsf E}\,{\!}_\lambda X_1}{\... ...\dfrac{\overline X - \lambda}{\sqrt{\lambda}} \Rightarrow \eta,\end{displaymath}$

где $\eta$ имеет стандартное нормальное распределение. По определению слабой сходимости, при $n\to\infty$

$\begin{displaymath} {\mathsf P}\,{\!}_\lambda\left(-c< \sqrt{n} \,\dfrac{\overli... ...eta < c)=1-\varepsilon \textrm{при } c=\tau_{1-\varepsilon/2}.\end{displaymath}$

Но разрешить неравенство под знаком вероятности относительно $\lambda$ не просто — получается квадратное неравенство из-за корня в знаменателе. Не испортится ли сходимость, если мы заменим на $\sqrt{\overline X}$ ?

По свойствам слабой сходимости, если $\xi_n \buildrel {p} \over \longrightarrow 1$ и $\eta_n\Rightarrow\eta$ , то $\xi_n\eta_n\Rightarrow\eta$ . Оценка $\lambda^*=\overline X$ состоятельна, поэтому

$\begin{displaymath} \dfrac{\lambda}{\overline X} \buildrel {p} \over \longrightarrow 1.\end{displaymath}$

Тогда

$\begin{displaymath} \sqrt{\dfrac{\lambda}{\overline X}} \cdot \sqrt{n}\, \dfrac{... ...c{\overline X - \lambda}{\sqrt{\overline X}} \Rightarrow \eta.\end{displaymath}$

Поэтому и

$\begin{displaymath} {\mathsf P}\,{\!}_\lambda\left(-\tau_{1-\varepsilon/2}< \sqr... ...-\varepsilon/2} < \eta < \tau_{1-\varepsilon/2})=1-\varepsilon.\end{displaymath}$

Разрешая неравенство под знаком вероятности относительно $\lambda$ , получим

$\begin{displaymath} {\mathsf P}\,{\!}_\lambda\left(\overline X-\dfrac{\tau_{1-\v... ...}{\sqrt{n}} \right) \to 1-\varepsilon \textrm{при } n\to\infty.\end{displaymath}$

Итак, искомый асимптотический ДИ уровня доверия $1-\varepsilon$ имеет вид

$\begin{displaymath} \left(\overline X-\dfrac{\tau_{1-\varepsilon/2}\sqrt{\overli... ...ac{\tau_{1-\varepsilon/2}\sqrt{\overline X}}{\sqrt{n}} \right).\end{displaymath}$

Вместо ЦПТ для построения асимптотических ДИ можно использовать асимптотически нормальные оценки (что по сути — та же ЦПТ): если $\theta^*$ — АНО для параметра $\theta$ с коэффициентом $\sigma^2(\theta)$ , то

$\begin{displaymath} G({\mathbf X},\theta)=\sqrt{n}\,\frac{\theta^*-\theta}{\sigma(\theta)}\Rightarrow \eta, \end{displaymath}$

где $\eta$ имеет стандартное нормальное распределение.

Замечание 14.

Если $\sigma(\theta)$ в знаменателе мешает, то, как в примере 26, ее можно заменить состоятельной оценкой $\sigma(\theta^*)$ . Достаточно, чтобы функция $\sigma(\theta)$ была непрерывной во всей области $\Theta$ .

Требуется лишь ответить себе: почему $\theta^*$ — состоятельная оценка для $\theta$ ?

Next: Распределения, связанные с нормальным Up: Оглавление Previous: Вопросы и упражнения

N.I.Chernova 9 сентября 2002