Пусть функция потерь равна С(0,©) = С, - 5(9 -0), где 5(0 -0) -дельта-функция, тогда

г = м[[С~Ь(©~ё)]/у] = [[С, -5(0-0)] W{Q/y)dQ=q-W{Q/y). п

Чтобы Яmin , необходимо W(&/у)max. Оценка Байеса при С(0,©) = С-5(0-0) оптимальна по критерию максимума апостериорной вероятности W{(d/y) и является максимальной апостериорной оценкой, которую можно найти из условий

ЕШЛО (9.5)

а©

!пЖ(0ОО=о. (9.6)

9.2. Оценки максимального правдоподобия

Если оцениваемый параметр не является случайной величиной, то можно воспользоваться, например, методом максимального правдоподобия, когда используется JV(y/©)r= Ц©) - так называемая функция

правдоподобия. Оценкой максимального правдоподобия (ОМП) ©д называется такое значение © , когда L(&) = maxgjgq L(©), поэтому

iKo или iiM)=o

dQ д©

(9.7)

обеспечивает оптимальную процедуру нахождения ©д. 9.3. Качество оценок

Качество оценок характеризуется их состоятельностью, несмещенностью и эффективностью.

Состоятельность оценок ©ду - это сходимость по вероятности к

оцениваемому параметру 0 при неограниченном увеличении размера выборки , т.е. для любого малого наперед заданного положительного числа 8 > О

S:f}=0. (9.8)

Несмещенность оценки 0,\, - это равенство среднего по совокупности выборок размера п значения оценки истинному значению оцениваемого параметра при любом значении п:

Л/{0д, } = 0. (9.9)

Следовательно, смещение оценки

6 (0) = М{0д }-0.

Если 6 (<9)->0 лишь при неограниченном увеличении п, то такая оценка называется асимптотически несмещенной, т.е.

1К-..Л/{0, } = 0. (9.10)

Оценки, которые можно получить из выборок размером / < я, называются достаточными оценками (или достаточными статистиками). Используя достаточные статистики, в число которых входит и отношение правдоподобия Л(>/0), можно упростить процедуры оценки параметров или сократить процесс накопления входной информации для получения оценок.

Эффективность оценки 0д обеспечивается, если среднее значение квадрата отклонения оценки от истинного значения оцениваемого параметра не больше, чем для любой другой оценки:

Л{(0л, зф -0)} М{(0 , -0)2}. (9.11)

Рассмотрим неравенство Крамера - Рао. Пусть 5(>) = 0 - несмещенная оценка параметра 0, т.е.

М{Ку)}= [Ky)W{ylQ)cly = Q ,

[b{y)-Q]W{yl&)dy = Q .

Дифференцируя это выражение по 0, получаем

\b{y)-Q]iy- \w{ylQ)dy = Q. г /Л

Так как {lV(y/e)dy = ] , 5(7)-llW) = K

d]nz 1 dz

в соответствии с соотношением -=--можно представить

дх Z дх

-н-= W{y10)----, следовательно,

[6(,)-0m,/e)l!i5if=

Применительно к последнему выражению, используя неравенство Буняковского - Коши - Шварца:

\my)fdy\y)fdy.

d\x\W{yl@)

f{yMy)dy получаем

[5(>O-0f W{ylQ)dy г г

после чего переходим к неравенству

,21 d\nW{yl&)

а©

W{ylb)dy>\,

{[5Cv)-0f}-

>1.

Таким образом, дисперсия несмещенной оценки

A/{[5(.v)-0f

d\nW{yl&)

(9.12)

Нижний предел дисперсии, получаемый при условии

называется дисперсией наиболее эффективной оценки (НЭО). Если существует НЭО, то она совпадает с ОМП.

Оценка максимального правдоподобия асимптотически оптимальна, так как она состоятельна, асимптотически не смещена и асимптотически наиболее эффективна.

Асимптотическая наибольшая эффективность - это стремление в пределе (при я->ос) дисперсии оценки к нижнеку пределу неравенства Крамера - Рао: