(30)

2. следует отобрать то решение, которое обращает функцию в максимум, при этом удобно использовать вторую производную: если

(31)

то точкой максимума будет .

В случаях, когда подлежат оценке несколько параметров распределения, то оценки определяются решением системы уравнений правдоподобия;

Пример 11. Найдём оценку параметра в распределения Пуассона методом математического правдоподобия.

Решение. В данном примере

Поэтому

.

Составляем функцию правдоподобия для дискретной случайной величины : по формуле (28) имеем

.

Отсюда, после логарифмирования обе части равенства получим

.

Обе части равенства продифференцируем по параметру , получим

Таким образом, уравнение правдоподобия имеет вид:

(32) .

Следовательно,

(33) .

А так как из (32) следует, что

(34)

то найденная оценка является оценкой максимального правдоподобия. Итак, .

2.3. Сглаживания экспериментальных зависимостей

метод наименьших квадратов (МНК)

Пусть проводится некоторый опыт, целью которого является исследование зависимости определённой физической (экспериментальной) величины от другой (скажем от ). Будем предполагать, что величины и связаны некоторой функциональной зависимостью Вид этой зависимости и требуется из опыта.

Предположим вначале, что зависимость известна и в результате опыта получен ряд экспериментальных точек Обычно, эти точки не ложатся точно на графике нашей функции . Как правило, имеется некоторый разброс точек, полученных опытным путём от графика нашей функции, т.е. обнаруживается случайные отклонения от данной функциональной зависимости. Эти отклонения связаны с неизбежными допустимыми ошибками при любом опыте. В связи с этим возникает естественный вопрос, «не зная зависимости , как, наилучшим образом воспроизвести эту зависимость по экспериментальным данным».

Простое соединение все экспериментальные точки некоторой кривой линией, являющейся графиком определённой функции, в общем случае лишено смысла. Потому, что вид этой зависимости будет меняться при разных сериях измерений, а в некоторых случаях её в принципе нельзя получать (несколько экспериментальных точек могут иметь одинаковые абсциссы и разные ординаты). В этом случае возникнет типичная задача для практики «задача сглаживания экспериментальных зависимостей», т.е. требуется найти функцию , чтобы она некоторым наилучшим образом отражала функциональную зависимость от , и вместе с тем были бы сглажены случайные, незакономерные отклонения измерений, связанные с неизбежными погрешностями самых измерений.

Обычно ситуация облегчается тем, что из теоретического соображения или из других соображений, связанных с существом рассматриваемой задачи, и даже по полученному экспериментальному материалу можно указать вид функциональной зависимости от (линейная, квадратичная, показательная и т.д.). Требуется только установить численные значения параметров этих зависимостей. Именно, далее задачу рационального выбора таких числовых параметров будем рассматривать. Ниже дадим кратко обоснование так называемого метода наименьших квадратов на примере нормально распределённых случайных величин.

---

Итак, пусть имеются результаты независимых измерений - опытные точки Из теоретических или иных соображений, с точностью до количества (или других признаков) неизвестных параметров (здесь мы ограничимся двумя) и известна функциональная зависимость от в виде

(35) .

Экспериментальные точки уклоняются от этой зависимости вследствие неизбежных ошибок измерений. Как правило, эти ошибки распределены по нормальному закону. Рассмотрим некоторое значение независимой переменной . Результат измерения может рассматриваться как нормально распределённая случайная величина с математическим ожиданием и соответствующим среднеквадратичным отклонением , характеризующим ошибку измерений. Дополнительно предположим, что «точность измерения во всех точках одинакова, то есть Тогда плотность вероятности с.в. имеет вид

(36)

В результате получаем мерную случайную величину , координаты которой независимы и плотности вероятности которых определении равенствами (36). Как было показано ранее, плотность распределения системы независимых случайных величин равна произведению плотностей вероятности компонент:

(37)

Теперь для определения параметров и воспользуемся идеей метода максимального правдоподобия (ММП), согласно которой в эксперименте реализуются те значения компонент, при которых плотность вероятности системы (37), близка к максимальному значению. Учитывая специальный вид равенств (37), можно заметить, что она достигает максимума, когда показатель степени принимает максимальное значения. Отбрасывая отрицательный множитель приходим к задаче отыскания минимума выражения:

(38) .

Поскольку минимизируется сумма квадратов разностей экспериментальных и теоретических значений функции (их обычно называют «невязками»), предложенную процедуру называют методом наименьших квадратов.

Согласно теории дифференциального исчисления в принципе задача сводится к решению

системы двух однородных дифференциальных уравнений в частных производных:

(39)

Если функциональная зависимость (35) линейна относительно параметров и , то система уравнений (39) также будет линейной и её решение можно найти известными методами линейной алгебры.

Таким образом, в общем случае мы приходим к следующему выводу.

Метод нахождения оценки неизвестного параметра , основанный на минимизации суммы квадратов отклонений выборочных данных от определяемой (искомой) оценки называется методом наименьших квадратов.

Другими словами, в МНК требуется найти такое значение , которое минимизировало бы сумму

Следует отметить, что МНК является наиболее простым и практичным методом нахождения оценок параметра .

Пример 12. Проведена серия опытов по определению влияния дозы внесённых удобрений

---

на повышение урожайности некоторой сельхоз культуры (например, пшеницы). Соответствующие данные приведены в трёх столбцах таблицы, и пусть выражает внесённую дозу удобрений в центнерах на гектар, выражает прирост урожайности в центнерах с гектара

1	0,342	2,10	0,1170	4,41	0,718
2	0,417	4,70	0,1739	22,09	1,960
3	0,675	6,05	0,4556	36,60	4,084
4	0,867	8,65	0,7517	74,82	7,500
5	1,000	10,00	1,0000	100,00	10,000
6	1,158	12,60	1,3410	158,76	14,591
7	1,283	12,08	1,6461	145,93	15,499
8	1,500	14,68	0,2500	215,50	22,020
9	1,733	16,65	3,0033	277,22	28,854
10	2,008	19,25	4,0321	370,56	38,654
11	2,083	19,98	4,3389	399,20	41,618
12	2,242	23,20	5,0266	538,24	52,014
13	2,508	23,93	6,2901	572,64	60,016
	1,370	13,37	2,3405	224,31	22,887

Требуется, применяя метод наименьших квадратов подобрать линейную функцию , выражающую через .

Решение. Предполагая, искомые величины связаны между собой линейной зависимостью

. Определим коэффициенты и на основании системы (39).

Система (39) в нашем случае принимает вид:

После раскрытия скобок и некоторых стандартных преобразований, для определения наших параметров и получим следующую систему двух линейных уравнений

Решая эту систему методом последовательного исключения неизвестных (методом Гаусса), в итоге получим:

Замечание. Во многих приложениях также используется и другая зависимость: также линейно е относительно параметров и . В этом случае задача легко может быть сведена к предыдущей заменой переменной:

Пример 13. Найдём оценку параметра распределения Пуассона методом наименьших квадратов.

Решение. Найдём точку минимума функции Найдём .

Из уравнения находим критическую точку: -2 т.е.

следовательно, Поскольку

при любом значении , то

будет точкой минимума функции Таким образом, оценкой параметра в распределении Пуассона

---

в соответствии с МНК, является величина .

Задание. Докажите, что имеют место равенства:

Задачи с указаниями.

1. Найти оценку параметра распределения Пуассона методом моментов.

Указание. Распределение Пуассона содержит один параметр .

Для оценки его методом моментов запишем уравнение . Отсюда следует, что

Следовательно,

2. Пользуясь ММП, оценить вероятность, появление герба, если при десяти подбрасываниях монеты герб появился шесть раз.

Указание. В данном случае с.в. является дискретной с законом распределения

	1	0
		1-

Так как

то функция правдоподобия имеет вид: Тогда

и уравнение правдоподобия

3. Пусть случайная величина равномерно распределена со значениями в отрезке , т.е. . По выборке оценить величины и методом моментов.

Указание. В этой задаче требуется оценить две величины и , т.е. величины и , методом моментов. Как было показано ранее, (см. Т. 9.5) Решая систему уравнений

Отсюда находим: т.е.

и, значит, (вариант из-за исключается). Таким образом, оценки величин и получены и таковы:

Задание. Решая систему

получить те же самые оценки.

Теперь, кратко остановимся на общий случай, когда рассматриваемая зависимость близка к некоторой функциональной зависимости, где входят семейство параметров больше чем два, т.е. функциональная зависимость имеет общий вид

(40) ,

требуется подобрать значения параметров так, чтобы кривая (40) наименее уклонялась от точек полученных экспериментальным путём.

Решение этой задачи, например, методом наименьших квадратов (МНК) заключается в отыскании таких значений параметров, для которых выражение

(41)

принимает наименьшее значение. И здесь, задачу можно свести к решению системы уравнений

(42)

где число уравнений совпадает с числом неизвестных параметров.

В общем случае решить систему (42) при произвольной функции конечно невозможно; для практического приложения необходимо задаться конкретным видом функции . В ряде случаев функцию задают в виде многочлена

,

где роль параметров играют коэффициенты . В некоторых случаях выбирается как комбинация показательных функций

где какие-то из чисел и могут быть заданы заранее, в то время как другие неизвестны (эти неизвестные и играют роль параметров, подлежащих вычислению). Возможны, разумеется и другие формы задания функции .

3. Понятие интервального оценивания параметров

Точечные оценки неизвестного параметра хороши в качестве первоначальных результатов обработки наблюдений. Их недостаток в том, что заранее (априори) неизвестно с какой точностью они характеризуют оцениваемый параметр. Поскольку точечные оценки параметров распределения являются случайными величинами и могут отличаться от оцениваемых параметров, то возникает необходимость в оценке точности и надёжности найденного. То есть требуется знать, к каким ошибкам может привести замена неизвестного параметра его точечной оценкой, и с какой уверенностью можно ожидать, что допущенные ошибки не выйдут за известные пределы.

---

С этой целью вводятся «интервальные оценки», накрывающий неизвестный параметр, то есть по данным выборки указывается интервал, который с заданной и достаточно близкой к единице вероятностью обеспечивает верхнюю и нижнюю границу оценок. Обычно, величину называют доверительной вероятностью или надёжностью оценки и определяют формулой:

(43) .

Число характеризует точность оценки: чем меньше разность , тем точнее оценка.

Для выборок небольшого объёма вопрос о точности оценок очень важен.

Оценка неизвестного параметра называется интервальной, если она определяется двумя числами – началом и концом интервала. Задачу в общем случае можно сформулировать так: по данным выборки построить числовой интервал , относительно которого с заранее выбранной вероятностью можно сказать, что внутри этого интервала находится точное значение оцениваемого параметра.

Величина выбирается заранее, её выбор зависит от конкретно решаемой задачи. Например, степень доверия авиапассажира к надёжности самолёта, естественно, должно быть выше степени доверия покупателя к надёжности бытовых приборов: телевизора, лампочки, …

Надёжность принято выбирать равной: 0,9; 0,95; 0,99 или 0,999. Тогда практически достоверно нахождение параметра в доверительном интервале .

4. Доверительные интервалы для параметров

нормального распределения

В этом разделе построим доверительные интервалы для параметров нормального распределения, т.е. когда выборка производится из генеральной совокупности, имеющей нормальное распределение с параметрами и

4.1. Доверительный интервал для математического ожидания

при известной дисперсии

Пусть с.в. и известна, и задана доверительная вероятность (надёжность) . Предположим, что означают выборку, полученную в результате проведения независимых наблюдений за с.в. . Чтобы подчеркнуть случайный характер выборки , перепишем их в виде , т.е. под будем понимать значение с.в. в м опыте. Случайные величины - независимы, закон распределения любой из них совпадает с законом распределения с.в. , (т.е. с ). А это значит, что Выборочное среднее

также будет распределено по нормальному закону. Параметры распределения таковы:

. Действительно,

Отсюда, .

Следовательно, пользуясь формулой (см. теорему 9.9) формула (43)).

,

можно записать для некоторого

,

где следовательно,

(44) ,

поэтому или

(45) .

Замечание. Если потребуется оценить математическое ожидание с заранее заданной точностью и надёжностью , то минимальный объём выборки, который обеспечивает эту точность, находят по формуле (непосредственное следствие формулы (44)).

В соответствии с определением доверительного интервала получаем, что доверительный интервал для есть интервал

---

Смотрите также файлы

• 18-19.doc

• 13-15_ГОТОВЫЙ!!!.doc

• Экономика. Учебное пособие 2011.doc

• Мет.Проект.АТП.doc

• Фотограмметрия. Ответы на вопросы 1-33.doc