Формула (1.5) указывает, что в конечном ансамбле Х сообщения x_i о разных событиях несут в общем случае разное количество информации. При решении большинства задач, связанных с построением систем передачи и преобразования информации, оказалось достаточным знать среднее количество информации, приходящееся на одно достоверное сообщение.

Среднее значение а_ср нескольких (n) случайных величин a₁, a_2,,…,a_n в соответствии с правилами теории вероятностей [Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения. – М.: Высшая школа, 2010. – 480 с.] может быть определено как математическое ожидание (МО):

Пример. Имеется ряд чисел: 1, 1, 1, 4, 4, 7. Определить среднее значение.

Из арифметики вы знаете, что надо все сложить и поделить на общее количество чисел

.

А теперь запишем это в таком виде

На предыдущей лекции мы с вами определили, что называется отношение числа элементарных исходов, благоприятствующих данному событию, к числу всех равно­возможных исходов опыта, в котором может появиться это событие, есть вероятность события.

В нашем примере имеется 3 события: а₁ – появление числа «1» с вероятностью р(а₁)=3/6, а₂ – появление числа «4» с вероятностью р(а₂)= 2/6 и а₃ –появление числа «7» с вероятностью р(а₃)=1/6. Таким образом, можем записать выражение для среднего значения

,

т.е. получили приведенную выше формулу для МО.

В нашем случае случайными величинами являются частные меры количества информации , поэтому среднее количество информации, приходящееся на одно достоверное сообщение определяется как

.

С учетом формулы (1.5), определяющей , получим

. (1.6)

В данном случае является мерой количества информации, приходящейся в среднем на одно достоверное сообщение о событии при передаче и преобразовании большого числа таких сообщений.

Эту мера количества информации предложил К. Шеннон. Она более общая, чем мера Хартли, и получила название энтропии конечного ансамбля дискретных событий .

Пример вычисления . Вычислим энтропию двоичного канала как источника информации. В таком канале передаются два символа «0» и «1», т.е. ансамбль событий можно представить как

,

где событие соответствует символу «0», а событие – символу «1».

Обозначим для простоты записи , а
[не забываем, что ^{], по формуле (1.6) находим}

(1.7)

Лк1_7-09-2018

Лк_2

Для построения графика зависимости от определим для трех значений :

Здесь имеется два вида неопределенности: в первом слагаемом при р=0, а во втором – при р=1 получаем log(0), который, как известно, не существует

Для раскрытия неопределенности для первого слагаемого выражения (1.7) при малых значениях рассмотрим предел, к которому стремится это слагаемое:

. Здесь – log p представлен как log 1 – log p.

Обозначив и воспользовавшись правилом Лопиталя, т.е. взяв производные по α от числителя и знаменателя, получим

---

.

Таким образом, при значении .

Нетрудно убедиться, что при , а при .

На рис. 1.1 приведен график зависимости от , полученный по формуле (1.7).

Из этого графика видно, что энтропия при и , имеет максимальное значение при . Эти результаты нетрудно объяснить: действительно, при априорно известно, что в канале передаются только символы «1», и сообщение об этом, т.е. их прием на выходе канала, не несет информации.

Аналогично при , когда в канале передаются только символы «0», сообщение не несет информации.

При символы «0» и «1» будут иметь одинаковую вероятность и наличие каждого из этих символов будет иметь наибольшую неопределенность. Поэтому достоверный прием на выходе канала конкретного символа будет полностью устранять эту неопределенность, и это сообщение, получаемое в результате приема, будет обеспечивать получение максимального количества информации: , т.е. в двоичном канале, когда вероятности обоих символов одинаковы, достоверный прием любого из них несет 1 дв. ед. информации.

В данном случае имеем равновероятные события, для которых справедлива мера Хартли: I=log₂2=1 дв.ед.

1.4. Свойства энтропии источника дискретных сообщений

В соответствии с (1.6) энтропия источника дискретных сообщений

.

1. Энтропия есть величина вещественная, неотрицательная и ограниченная.

Выделим из формулы для энтропии (1.6) одно слагаемое и докажем, что это слагаемое является величиной вещественной, неотрицательной и ограниченной. Заметим, что для крайних значений ^{и рассматриваемое слагаемое обращается в нуль. При этом для значения необходимо рассмотреть предел, который использован в примере для двоичного канала.}

.

Здесь р перевели в знаменатель в виде дроби 1/р. В числителе остается –logp, который представлен как log1/p=log1– logp = –logp, т.к. log1=0.

Обозначив и воспользовавшись правилом Лопиталя, получим

.

^{Для значений} интересующее нас слагаемое будет вещественным и неотрицательным. Для доказательства ограниченности величины найдем , при котором исследуемая величина примет максимальное значение. Для этого, как известно, надо отыскать производную и приравнять ее нулю:

,

Решая приведенное выше уравнение, получаем .

^{Этому значению} будет соответствовать максимальное значение слагаемого –p(x_i)log(p(x_i)), равное 0,531. Таким образом, интересующее нас слагаемое является вещественным, неотрицательным и ограниченным. График зависимости величины этого слагаемого от приведен на рис..1.2. Поскольку энтропия представляет собой ограниченную сумму слагаемых, то свойства для одного слагаемого в данном случае можно перенести на всю сумму.

2. Энтропия ^{лишь в том случае, когда все вероятности} , кроме одной, равны нулю, а эта единственная вероятность равна единице. Следовательно, ^{только в случае полной определенности исхода опыта, а в остальных случаях} . ^{Последнее вытекает из того, что и, как было доказано в п.1.4.1,} .

3. При заданном энтропия максимальна и равна лишь тогда, когда все события равновероятны, т.е. .

---

Это свойство можно доказать следующим образом. Для краткости записи обозначим ^{и представим (1.6) в виде}

. (1.8)

Поскольку все события x_i независимы и несовместны, то сумма их вероятностей равна 1. Тогда применительно к (1.8) должно выполняться условие

^{. (1.9)}

^{Найдем значения} , при которых энтропия имеет максимальное значение.

Согласно правилу отыскания относительного максимума функции нескольких переменных с учетом (1.8) и (1.9) имеем

^,

^где – множитель Лагранжа.

^{Подставляем в последнее равенство значения из (1.8)} и, выполнив дифференцирование, получаем

,

откуда

, (1.10)

где .

Заметим, что с учетом (1.10) ^{, откуда} следует , что соответствует равной вероятности событий. Найденное экстремальное значение соответствует максимуму энтропии. Изложенное свойство энтропии 1.4.3 полностью согласуется с графиком зависимости от на рис. 1.1 для двоичного канала как источника информации.

1.5. Энтропия источника совместных сообщений

Возьмем два ансамбля событий: , который представляется (1.4)

, и , описываемый как

. (1.11)

Будем рассматривать совместные (происходящие вместе) события и . Все возможные пары могут рассматриваться как элементы нового объединенного ансамбля . В качестве примера совместных событий и можно отметить состояния и , формируемые в r- и s-разрядных регистрах, широко используемых в информационных системах. При этом число состояний r-разрядного регистра составит , а s-разрядного – . Каждому из состояний регистров с помощью логических дешифраторов можно привести в соответствие двоичные сигналы (события) ( ) и ( ). Все возможные пары и могут быть реализованы с использованием двухвходовых логических элементов «И» (конъюнкторов). Таким образом, на выходах этих логических элементов получим двоичных сигналов (сообщений), которые можно рассматривать как элементы нового ансамбля .

Объединенный ансамбль таких сообщений представим в виде

			…
			…
			…
			…

Ансамбль может рассматриваться как некий новый, в котором возможны различных состояний (событий) с заданным распределением вероятностей .

Энтропия такого ансамбля, т.е. энтропия исхода совместных событий , может быть получена по аналогии с энтропией (1.8) в следующем виде:

. (1.12)

Известно, что вероятность совместного события равна произведению вероятности одного события на условную вероятность другого события, при условии, что произошло первое событие [3]

, (1.13)

где – вероятность события при условии, что произошло событие (условная вероятность ), – условная вероятность .

---

Проделав подстановку (1.13) в (1.12) и соответствующие преобразования, получим

_. (1.14)

Для условных вероятностей известно, что ^{[3], тогда выражение (1.14) с учетом (1.8) можно привести к виду}

, (1.15)

^где . (1.16)

Здесь будем называть условной энтропией ансамбля . Условную энтропию структурно можно рассматривать как математическое ожидание частных условных энтропий ансамбля . Следовательно, условная энтропия равна среднему значению частных условных энтропий и характеризует неопределенность исхода событий при известных событиях :

.

Легко видеть, что условная энтропия , так же как энтропии и , – величина положительная, т.е. .

Обратим внимание на то, что формула (1.13) для вероятности совместных событий, по сути, имеет две формы записи. Используя это, нетрудно представить и энтропию совместных событий в двух видах:

. (1.17)

1.6. Определение количества информации источника дискретных сообщений при неполной достоверности результатов опыта

Как уже отмечалось, информация о том или ином событии или факте добывается всегда в результате целенаправленного опыта, причем после опыта ситуация оказывается не всегда полностью определенной, и мы не можем с полной достоверностью утверждать, какое именно событие имело место. Требуется определить количество информации, приходящееся в среднем на один опыт, когда полная достоверность его исхода отсутствует.

Пусть интересующие нас события или факты составляют ансамбль (1.4) (переданные сообщения)

,

а результаты опыта, на основе которых мы выносим суждение об исходе событий , составляют ансамбль (1.11) (принятые сообщения)

.

Обозначим через вероятность того, что при известном исходе опыта имело место событие . Если, например,

(1.18)

то в результате опыта ситуация полностью определена, и мы можем с полной достоверностью утверждать, какое событие (сообщение) имело место. Так как неопределенность исхода событий до опыта равна , а после опыта неопределенность отсутствует, то в этом случае

(1.19)

где – количество информации, содержащееся в среднем в опытах относительно интересующих нас событий .

В более общем случае, когда для различных , после опыта сохранится неопределенность, которая, очевидно, приведет к уменьшению количества информации (1.19).

Количество информации, содержащееся в опыте относительно событий , которое назовем частной мерой количества информации при ее неполной достоверности, можно определить по формуле (1.2) как

. (1.20)

Здесь условная вероятность определяет послеопытную вероятность .

Количественная мера информации (1.19) по аналогии с другими мерами будет представлять в данном случае усреднение частных мер количества информации (1.20) при неполной достоверности результатов опыта:

. (1.21)

С учетом соотношений (1.13), соответствующих подстановок и преобразований, используемых в (1.14), из выражения (1.21) получим

---

откуда находим (с учетом условия ) количество информации, в среднем приходящееся на один опыт при его неполной достоверности,

, (1.22)

где – условная энтропия, характеризующая потерю информации из-за недостоверности результатов опыта.

Учитывая две формы записи (1.13) вероятности совместных событий для введенной меры количества информации, наряду с (1.22) нетрудно получить дополнительные формы:

, (1.23)

которые могут использоваться при вычислении количества информации.

1.7. Некоторые свойства количественной меры информации источника дискретных сообщений при неполной достоверности результатов опыта

1.7.1. Количество информации, содержащееся в опытах относительно интересующих нас событий , не превосходит энтропии событий , т.е.

.

Этот максимум достигается лишь при выполнении условия (1.18), т.е. если результат опыта достоверно определяет событие.

1.7.2. , т.е. энтропия может быть истолкована как информация, содержащаяся в событиях (опытах) относительно самих себя. Из этого непосредственно вытекает, что энтропия событий есть наибольшее количество информации об этих событиях, которое можно получить из опытов.

1.7.3. , если при всех значениях и , что имеет место для статистически независимых событий. Это означает, что количество получаемой информации равно нулю, когда исход опытов не зависит от исхода событий. Данный вывод полностью согласуется с нашими интуитивными представлениями.

1.8. Пример вычисления количественной меры информации при неполной достоверности результатов опыта (рассмотреть самостоятельно)

Применительно к этому примеру рассмотрим двоичный канал передачи данных, который был упомянут ранее в примере (раздел 1.3). В отличие от него будем считать, что на выходе этого канала из-за искажений, обусловленных помехами и сбоями в аппаратуре, принятые символы двоичного канала оказываются недостоверными, т.е. вероятность правильного приема символов оказывается меньше 1 и в соответствии с формулой (1.18). Пусть будем иметь . Вероятность ошибочного приема символов двоичного кода . Для рассматриваемого примера примем .

Для вычисления воспользуемся (1.22), (1.16) и (1.6). Из (1.6) получаем

.

В данном случае

,

.

Условные вероятности найдем из равенства

и, следовательно,

.

Для нашей задачи имеем

и, следовательно,

или

По аналогии с (1.16) получаем

или

,

.

В итоге согласно (1.22) имеем

.

Если бы в рассматриваемом случае двух событий опыт был достоверным, т.е. выполнялись условия

,

то очевидно, что

.

Таким образом, недостоверность опыта, когда вероятность ошибочного исхода составляет 0,1, приводит к уменьшению количества информации, получаемой из опыта, почти в 2 раза.

1.9. Избыточность источника сообщений

Вспомним теперь, что энтропия характеризует количество информации, приходящееся в среднем на одно сообщение. Рассмотренные ранее примеры показывают, что при одинаковом количестве различных символов (сообщений) количество информации, приходящееся на одно сообщение, может быть различным в зависимости от статистических характеристик источника. Энтропия источника максимальна и равна , если символы вырабатываются с равными вероятностями; если же это не так и некоторые символы повторяются часто, а другие редко, то энтропия источника уменьшается, а при появлении дополнительных коррелятивных связей между символами энтропия становится еще меньшей. Это положение хорошо согласуется с интуитивным представлением о количестве информации, вырабатываемой тем или иным источником. Так, например, если из предшествовавшего опыта свойства лектора или докладчика известны настолько хорошо, что слушатели с высокой степенью достоверности знают, о чем он будет говорить, то количество информации, сообщаемой таким лектором, будет очень малым, несмотря на большое количество произнесенных слов.

---

Смотрите также файлы

• Mikheev_otvety_na_voprosy.docx

• Навч.посібник Акушерство, гінекологія та штучне осіменіння с.г. тварин, Харута, 2013.pdf

• Ветеринарне акушерство, Яблонський, 2006.pdf

• МЕДИКО-тактическая характеристика очагов.docx

• Этика ДО Экзамен Ответы.docx