Файл: Учебнометодическое пособие знакомит студентов с основными понятиями о.doc

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 12.12.2023

Просмотров: 481

Скачиваний: 2

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

СОДЕРЖАНИЕ

ВВЕДЕНИЕУчебно-методическое пособие знакомит студентов с основными понятиями о теории вероятностей, случайных процессах, статистическом оценивании и проверке гипотез, статистических методах обработки экспериментальных данных, математических методах, принятых в биологических исследованиях.Пособие состоит из четырех разделов: Введение в теорию вероятностей. Основные понятия и термины статистики. Статистические методы обработки экспериментальных данных. Компьютерная обработка данных анализа в специализированной программе EasyStatistics. Введение в теорию вероятностей дает представление о случайных событиях, вероятности и ее свойствах, случайных величинах и основных теоретических распределениях случайных величин.При изучении второго раздела разбираются понятия о совокупности и выборке, классификации признаков, дается представление о схемах научного эксперимента и научных гипотезах, достоверности и надежности результатов.Третий раздел знакомит со статистическими методами описания групп, способами их сравнения в зависимости от характера распределения исходных данных. Большое внимание уделено корреляционно-регрессионному анализу, лежащему в основе многомерных методов анализа. Разбираются широко распространенные в биологических исследованиях методы оценки динамики, цикличности и классификации. При описании каждого метода описываются условия, необходимые для проведения статистической обработки, и возможные трудности в интерпретации полученных показателей. Четвертый раздел посвящен практическому применению методов статистической обработки данных с помощью специализированной программы «Статистическая обработка медико-биологических данных» (EasyStatistics). Данная программа разработана автором пособия (Роспатент №2003612171) и предназначена для статистической обработки данных биологических и медицинских исследований и, в первую очередь, нацелена на выполнение курсовых и дипломных работ студентами. В то же время это не замена уже существующим мощным статистическим пакетам, таким как Statistica, а скорее дополнение, помогающее оценить возможности манипулирования данными и принципы работы с основными статистическими методами. Каждый раздел содержит список вопросов и заданий для самопроверки.Пособие также содержит список учебно-методических материалов, рекомендуемых для самостоятельной работы студентов.РАЗДЕЛ I. ВВЕДЕНИЕ В ТЕОРИЮ ВЕРОЯТНОСТЕЙЗакономерности, которым подчиняются случайные события, изучаются в разделах математики, которые называются теорией вероятностей и математической статистикой.Понятие о случайном событииОпыт, эксперимент, на­блюдение явления называются испытанием. Испытаниями, напри­мер, являются: бросание монеты, выстрел из винтовки, бросание игральной кости (кубика с нанесенными на каждую грань числом очков — от одного до шести).Результат, исход испытания называется событием. Для обозначения событий используются большие буквы ла­тинского алфавита: А, В, С и т. д.Два события называются совместимыми, если появление одного из них не исключает появление другого в одном и том же испытании.Испытание: однократное бросание игральной кости. Событие А — появление четырех очков. Событие В— появле­ние четного числа очков. События Аи В совместимые.Два события называются несовместимы­ми, если появление одного из них исключает появление другого в одном и том же испытании.Испытание: однократное бросание монеты. Собы­тие А — выпадение герба, событие В — выпадение цифры. Эти события несовместимы, так как появление одного из них исключает появление другого.Несовместимость более чем двух событий означает их попарную несовместимостьИспытание: однократное бросание игральной кости. Пусть события А1, А2, А3, А4, А5, А6 соответственно выпа­дение одного очка, двух, трех и т. д. Эти события являются несов­местимыми..Два события А и В называются проти­воположными, если в данном испытании они несовместимы и одно из них обязательно происходит.Событие, противоположное событию А, обозначают через А.Испытание: бросание монеты. Событие А — выпадение герба, событие В — выпадение цифры. Эти события противоположны, так как исходами бросания могут быть лишь они, и появление одного из них исключает появление другого, т. е. А = В или А = В.Событие называется достоверным, если в данном испытании оно является единственно возможным его ис­ходом, и невозможным, если в данном испытании оно заведомо не может произойти.Испытание: извлечение шара из урны, в которой все шары белые. Событие А — вынут белый шар — достоверное событие; событие В — вынут черный шар — невозможное событие.Достоверное и невозможное события в данном испытании являются противоположными.Событие А называется случайным, если оно объективно может наступить или не наступить в данном испы­тании.Выпадение шести очков при броса­нии игральной кости — случайное событие. Оно может наступить, но может и не наступить в данном испытании.Прорастание девяноста восьми зерен пшеницы из ста — случайное событие. Это событие может наступить, но, может быть, прорастет зерен больше или меньше.Классическое определение вероятностиВсякое испыта­ние влечет за собой некоторую совокупность исходов — резуль­татов испытания, т. е. событий. Во многих случаях возможно пере­числить все события, которые могут быть исходами данного испы­тания.Говорят, что совокупность событий обра­зует полную группу событий для данного испытания, если его ре­зультатом обязательно становится хотя бы одно из них.События Ul, U2, ..., Un , образующие полную группу попарно несовместимых и равновозможных собы­тий, будем называть элементарными событиями.Вернемся к опыту с подбрасыванием игральной кости. Пусть Ui — событие, состоящее в том, что кость выпала гранью с цифрой i. Как уже отмечалось, события U1, U2, …, U6 образуют полную группу попарно несовместимых событий. Так как кость предполагается однородной и симметрич­ной, то события U1, U2, …, U6 являются и равновозможными, т. е. элементарными.Событие А называется благоприят­ствующим событию В, если наступление события А влечет за собой наступление события В.Пусть при бросании игральной кости события U2, U4 и U6 — появление соответственно двух, четырех и шести очков и А — событие, состоящее в появлении четного очка; собы­тия U2, U4 и U6 благоприятствуют событию А.Классическое определение вероятностиВероятностью Р (А) события А называется отношение m/n числа элементарных событий, благоприятствующих событию А, к числу всех элементарных событий, т. е. Вычислим вероятность выпадения герба при одном бросании монеты. Очевидно, событие А — выпадение герба и событие В — выпадение цифры — образуют полную группу несовместимых и равновозможных событий для данного испытания. Значит, здесь n = 2. Событию А благоприятствует лишь одно со­бытие — само А, т. е. здесь m = 1. Поэтому Р(А) = 0,5.Найти вероятность того, что при бросании иг­ральной кости выпадет число очков, делящееся на 2 (событие А). Число элементарных событий здесь 6. Число благоприятст­вующих элементарных событий 3 (выпадение 2, 4 и 6). Поэтому .Из приведенного классического определения вероятности вы­текают следующие ее свойства.1. Вероятность достоверного события равна единице.Действительно, достоверному событию должны благоприят­ствовать все n элементарных событий, т. е. m = n и, следовательно, P(A)=1.2. Вероятность невозможного события равна нулю. В самом деле, невозможному событию не может благоприят­ствовать ни одно из элементарных событий, т. е. m = 0, откуда P(A)=0.3. Вероятность случайного события есть положительное число, заключенное между нулем и единицей.Действительно, случайному событию благоприятствует лишь часть из общего числа элементарных событий. Поэтому в этом случае 0 < m < n , значит, 0 <= Р (А)<= 1.Относительная частота.Статистическое определение ве­роятности.Классическое определение вероятности не являет­ся пригодным для изучения произвольных случайных событий. Так, оно неприемлемо, если результаты испытания не равновозможны. Например, при бросании неправильной игральной кости выпадение ее различных граней не равновозможно.В таких случаях используется так называемое статистическое определение вероятности.Пусть произведено n испытаний, при этом некоторое событие А наступило m раз. Число m называется абсолютной часто­той (или просто частотой) события А, а отношение называется относительной частотой события А.При транспортировке из 10 000 арбузов испор­тилось 26. Здесь m= 26 — абсолютная частота испорченных ар­бузов, а P*(A)=0,0026 относительная.Результаты многочисленных опытов и наблюдений помогают заключить: при проведении серий из n испытаний, когда число n сравнительно мало, относительная частота Р*(A) принимает зна­чения, которые могут довольно сильно отличаться друг от друга. Но с увеличением n — числа испытаний в сериях — относитель­ная частота Р*(А) приближается к некоторому числу Р(А), стабилизируясь возле него и принимая все более устойчивые значения.Было проведено 10 серий бросаний монеты, по 1000 бросаний в каждой. Относительные частоты выпадения герба оказались равными 0,501; 0,485; 0,509; 0,536; 0,485; 0,488; 0,500;0,497; 0,494; 0,484. Эти частоты группируются около числа 0,5Статистическое определение вероят­ностиВероятностью события А в данном испытании называется число Р (А), около которого группируются значения относительной частоты при больших n.По официальным данным шведской статистики, относительные частоты рождения девочек по месяцам 2007 г. харак­теризуются следующими числами (расположены в порядке сле­дования месяцев, начиная с января): 0,486; 0,489; 0,490; 0,471; 0,478; 0,482; 0,462; 0,484; 0,485; 0,491; 0,482; 0,473. Эти частоты группируются около числа 0,482.Таким образом, относительная частота события приближенно совпадает с его вероятностью, если число испытаний достаточно велико. Геометрическая вероятностьДо этого мы рассматривали возможные эксперименты, в которых реализуется конечное множество событий. Однако существует большое количество задач, для которых такое предположение не является справедливым. При решении таких задач предполагается, что множество реализуемых событий может быть представлено в виде некоторой геометрической фигуры, а конкретное событие соответствует точке заданной части этой фигуры. В качестве события A можно рассмотреть любую подобласть области Ω. Например, фигуру внутри исходной фигуры на плоскости или отрезок, лежащий внутри исходного отрезка на прямой.Заметим, что элементарным событием на таком множестве может быть только точка. В самом деле, если множество содержит более одной точки, его можно разбить на два непустых подмножества. Следовательно, такое множество уже неэлементарно.Теперь определим вероятность. Тут тоже все легко: вероятность «попадания» в каждую конкретную точку равна нулю. Иначе получим бесконечную сумму одинаковых положительных слагаемых (ведь элементарные события равновероятны), которые в сумме больше P(Ω) = 1.Итак, элементарные события для бесконечных областей Ω — это отдельные точки, причем вероятность «попадания» в любую из них равна нулю. Но как искать вероятность неэлементарного события, которое, подобно Ω, содержит бесконечное множество точек? Вот мы и пришли к определению геометрической вероятности.Геометрическая вероятность события A, являющегося подмножеством множества Ω точек на прямой или плоскости — это отношение площади фигуры A к площади всего множества Ω.Мишень имеет форму окружности. Какова вероятность попадания в ее правую половину, если попадание в любую точку мишени равновероятно? При этом промахи мимо мишени исключены. Взглянем на картинку: нас устроит любая точка из правого полукруга. Очевидно, площадь S(A) этого полукруга составляет ровно половину площади всего круга, поэтому имеем P=0,5Студент и студентка договариваются о встрече на заданном промежутке времени Т. Тот, кто приходит первым ожидает другого в течение времени tВ качестве множества элементарных событий рассмотри квадрат, состоящий из точек (x,y), 0<=x<=T, 0<=y<=T, где x и у время прихода его и ее.Благоприятсвующие события образуют точки, для которых |x-y|<t, т.е. точки квадрата между прямыми y=x-t, y=x+t. Площадь получающейся фигуры равна T2-(T-t)2, а площадь всего квадрата – Т2. Отсуда искомая вероятность Свойства вероятностейСложение вероятностей несовместимых событийСуммой событий А и В называется собы­тие С = А + В, состоящее в наступлении по крайней мере одного из событий А или В.Стрельба двух стрелков (каждый де­лает по одному выстрелу). Событие А — попадание в мишень пер­вым стрелком, событие В — попадание в мишень вторым стрелком. Суммой событий А и В будет событие С = А + В, состоящее в попадании в мишень по крайней мере одним стрелком.Произведением событий А и В назы­вается событие С = АВ, состоящее в том, что в результате испыта­ния произошло и событие А, и событие В.Аналогично произведением конечного числа событий A1 А2, …, Ak называется событие А = А1 * A2 * ... * Ak, состоящее в том, что в результате испытания произошли все указанные события.В условиях предыдущего примера произведением событий А и В будет событие С = АВ, состоящее в попадании в мишень двух стрелков.Из определения непосредственно следует, что АВ = ВА.Вероятность суммы двух несовместимых событий А и В равна сумме вероятностей этих событий:Р (А + В) = Р (А) + Р (В). Следствие. Сумма вероятностей противоположных собы­тий А и А равна единице:Р(А) + Р(А

Коэффициент сопряженности Чупрова. Дальнейшим обоб-щением четырехпольных таблиц являются многопольные таблицы, для которых сопряженность наиболее часто оценивается по формуле, предложенной русским статистиком А. А. Чупровым. Прежде чем приводить ее рассмотрим несколько реальных ситуаций, когда такая оценка может потребоваться. Известно, например, что окраска тюльпанов связана с наличием определенных пигментов. Может представлять интерес вопрос о том, с какими именно пигментами преимущественно связана та или иная окраска цветка. Или другой пример. Окружающая гнездо полярной крачки обстановка может представлять собой зеленые растения, растения и гальку, пестрые камешки и т. д. При этом можно наблюдать самые разные по качеству гнезда: от его отсутствия до очень хорошо сделанного. В этом случае желательно знать, связано ли качество гнезда с какой-то одной или несколькими характеристиками окружающей среды. Общим для этих и других подобных задач является то, что в распоряжении экспериментатора оказываются данные о некотором множестве объектов, обладающих двумя признаками, причем каждый из признаков может иметь несколько градаций. В этом случае , где m - число разновидностей явления Х; k - число разновидностей явления Y, n – общее число объектов (m*k). Независимо то того, что каждый из описательных признаков, несмотря на разницу в численности его разновидностей, можно свести к альтернативному - только с двумя разновидностями, довольно часто в практике возникает необходимость работать с описательными признаками более двух разновидностей. В таких случаях необходимо при вычислении коэффициента корреляции составлять так называемую корреляционную таблицу (где X1,X2,...Xn - обозначают разновидность одного признака, а Y1, Y2... Yn - разновидности другого).При наличии такой схемы коэффициент корреляции находят по формуле: , где - коэффициент связи, m- число разновидностей явления Х; k - число разновидностей явления Y.Данный метод пригоден также и для экспрессной оценки связи между количественными (например возраст) и качествен-ными (например брак) параметрами.На практике (особенно в зоологии и ботанике) довольно часто встречаются другие меры измерения связи.



Все рассмотренные далее методы могут быть использованы как для классификации объектов, так и для классификации признаков

Виды используемых в кластерном анализе мер сходства и различия перекликаются с философской дилеммой: "ищите сходство" или "ищите различие". Меры сходства для кластерного анализа могут бы" следующих видов:

Мера сходства типа расстояния (функции расстояния), называемая также мерой различия. В этом случае объекты считаются тем более похожими, чем меньше расстояние между ними, поэтому некоторые авторы называют меры сходства типа расстояния мерами различия.

Мера сходства типа корреляции, называемая связью, является мерой, определяющей похожесть объектов. В этом случае объекты считаются тем более похожими, чем больше связь между ними. Меры могут быть легко приведены к предыдущему типу, как показано ниже.

Фактически, кластерный анализ является не столько обычным статистическим методом, сколько "набором" различных алгоритмов "распределения объектов по кластерам". Следует понимать, что кластерный анализ определяет "наиболее возможно значимое решение". Поэтому проверка статистической значимости в действительности здесь неприменима, даже в случаях, когда известны p-уровни (как, например, в методе K средних).
Иерархическое дерево


Рассмотрим горизонтальную древовидную диаграмму. Диаграмма начинается с каждого объекта в классе (в левой части диаграммы). Теперь представим себе, что постепенно (очень малыми шагами) вы "ослабляете" ваш критерий о том, какие объекты являются уникальными, а какие нет. Другими словами, вы понижаете порог, относящийся к решению об объединении двух или более объектов в один кластер.

В результате, связывается вместе всё большее и большее число объектов и объединяется все больше и больше кластеров, состоящих из все сильнее различающихся элементов. Окончательно, на последнем шаге все объекты объединяются вместе.

Меры расстояния
Объединение или метод древовидной кластеризации используется при формировании кластеров несходства или расстояния между объектами. Эти расстояния могут определяться в одномерном или многомерном пространстве.

Евклидово расстояние. Это, по-видимому, наиболее общий тип расстояния. Оно попросту является геометрическим расстоянием в многомерном пространстве и вычисляется следующим образом:


.

Евклидово расстояние (и его квадрат) вычисляется по исходным, а не по стандартизованным данным. Это обычный способ его вычисления, который имеет определенные преимущества (например, расстояние между двумя объектами не изменяется при введении в анализ нового объекта, который может оказаться выбросом). Тем не менее, на расстояния могут сильно влиять различия между осями, по координатам которых вычисляются эти расстояния.

Квадрат евклидова расстояния. Иногда может возникнуть желание возвести в квадрат стандартное евклидово расстояние, чтобы придать большие веса более отдаленным друг от друга объектам. Это расстояние вычисляется следующим образом:

.

Расстояние городских кварталов (манхэттенское расстояние). Это расстояние является просто средним разностей по координатам. Для этой меры влияние отдельных больших разностей (выбросов) уменьшается (так как они не возводятся в квадрат). Манхэттенское расстояние вычисляется по формуле:

.

Расстояние Чебышева. Это расстояние может оказаться полезным, когда желают определить два объекта как "различные", если они различаются по какой-либо одной координате (каким-либо одним измерением). Расстояние Чебышева вычисляется по формуле: .

Степенное расстояние. Иногда желают прогрессивно увеличить или уменьшить вес, относящийся к размерности, для которой соответствующие объекты сильно отличаются. Это может быть достигнуто с использованием степенного расстояния. Степенное расстояние вычисляется по формуле:

.

где r и p - параметры, определяемые пользователем. Несколько примеров вычислений могут показать, как "работает" эта мера. Параметр p ответственен за постепенное взвешивание разностей по отдельным координатам, параметр r ответственен за прогрессивное взвешивание больших расстояний между объектами. Если оба параметра r и p, равны двум, то это расстояние совпадает с расстоянием Евклида.

Процент несогласия
. Эта мера используется в тех случаях, когда данные являются категориальными. Это расстояние вычисляется по формуле:

расстояние(x,y) = (Количество x<>yi)/ni
Правила объединения или связи
На первом шаге, когда каждый объект представляет собой отдельный кластер, расстояния между этими объектами определяются выбранной мерой.

Одиночная связь (метод ближайшего соседа). Этот метод является самым простым для понимания из иерархических агломеративных методов кластерного анализа. Метод начинает процесс классификации с поиска и объединения двух наиболее похожих объектов в матрице сходства. На следующем этапе находятся два очередных наиболее похожих объекта, и процедура повторяется до полного исчерпания матрицы сходства.

В процессе кластеризации методом ближней связи явно прослеживается образование цепочек объектов. Таким образом, для выделения кластеров после окончания процесса кластеризации требуется задаться некоторым пороговым уровнем сходства, на котором выделяется число кластеров, большее единицы. Процедура не всегда обнаруживает такое свойство, как образование одного большого кластера на последнем этапе кластеризации, и часто заканчивается явным разделением всех предъявленных объектов на кластеры. После проведения классификации рекомендуется визуализировать результаты кластеризации путем построения дендрограммы. Для большого числа объектов такая визуализация является единственным способом получить представление об общей конфигурации объектов.

Полная связь (метод наиболее удаленных соседей). В этом методе расстояния между кластерами определяются наибольшим расстоянием между любыми двумя объектами в различных кластерах (т. е. "наиболее удаленными соседями"). Этот метод обычно работает очень хорошо, когда объекты происходят на самом деле из реально различных "рощ". Если же кластеры имеют в некотором роде удлиненную форму или их естественный тип является "цепочечным", то этот метод непригоден.

Невзвешенное попарное среднее. В этом методе расстояние между двумя различными кластерами вычисляется как среднее расстояние между всеми парами объектов в них. Метод эффективен, когда объекты в действительности формируют различные "рощи", однако он работает одинаково хорошо и в случаях протяженных ("цепочного" типа) кластеров.


Взвешенное попарное среднее. Метод идентичен методу невзвешенного попарного среднего, за исключением того, что при вычислениях размер соответствующих кластеров (т. е. число объектов, содержащихся в них) используется в качестве весового коэффициента. Поэтому предлагаемый метод должен быть использован (скорее даже, чем предыдущий), когда предполагаются неравные размеры кластеров.

Невзвешенный центроидный метод. В этом методе расстояние между двумя кластерами определяется как расстояние между их центрами тяжести.

Взвешенный центроидный метод (медиана). Этот метод идентичен предыдущему, за исключением того, что при вычислениях используются веса для учёта разницы между размерами кластеров (т. е. числами объектов в них). Поэтому, если имеются (или подозреваются) значительные отличия в размерах кластеров, этот метод оказывается предпочтительнее предыдущего.

Метод Варда (Уорда). Этот метод отличается от всех других методов, поскольку он использует методы дисперсионного анализа для оценки расстояний между кластерами. Метод минимизирует сумму квадратов (SS) для любых двух (гипотетических) кластеров, которые могут быть сформированы на каждом шаге. В целом метод представляется очень эффективным, однако он стремится создавать кластеры малого размера.
Метод K средних
В общем случае метод K средних строит ровно K различных кластеров, расположенных на возможно больших расстояниях друг от друга.

С вычислительной точки зрения, вы можете рассматривать этот метод как дисперсионный анализ "наоборот". Программа начинает с K случайно выбранных кластеров, а затем изменяет принадлежность объектов к ним, чтобы: (1) - минимизировать изменчивость внутри кластеров, и (2) - максимизировать изменчивость между кластерами. Данный способ аналогичен методу "дисперсионный анализ наоборот" в том смысле, что критерий значимости в дисперсионном анализе сравнивает межгрупповую изменчивость с внутригрупповой при проверке гипотезы о том, что средние в группах отличаются друг от друга. В кластеризации методом K средних программа перемещает объекты (т.е. наблюдения) из одних групп (кластеров) в другие для того, чтобы получить наиболее значимый результат при проведении дисперсионного анализа (ANOVA).

Обычно, когда результаты кластерного анализа методом K средних получены, можно рассчитать средние для каждого кластера по каждому измерению, чтобы оценить, насколько кластеры различаются друг от друга. В идеале вы должны получить сильно различающиеся средние для большинства, если не для всех измерений, используемых в анализе. Значения F-статистики, полученные для каждого измерения, являются другим индикатором того, насколько хорошо соответствующее измерение дискрими-нирует кластеры.

Выбор адекватного теста для того, чтобы сравнивать показатели достаточно сложное мероприятие, поскольку Вам необходимо выбирать между двумя семействами тестов - параметрическими и непараметрическими.

Смотрите также файлы