.

Таким образом, при значении .

Нетрудно убедиться, что при , а при .

На рис. 1.1 приведен график зависимости от , полученный по формуле (1.7).

Из этого графика видно, что энтропия при и , имеет максимальное значение при . Эти результаты нетрудно объяснить: действительно, при априорно известно, что в канале передаются только символы «1», и сообщение об этом, т.е. их прием на выходе канала, не несет информации.

Аналогично при , когда в канале передаются только символы «0», сообщение не несет информации.

При символы «0» и «1» будут иметь одинаковую вероятность и наличие каждого из этих символов будет иметь наибольшую неопределенность. Поэтому достоверный прием на выходе канала конкретного символа будет полностью устранять эту неопределенность, и это сообщение, получаемое в результате приема, будет обеспечивать получение максимального количества информации: , т.е. в двоичном канале, когда вероятности обоих символов одинаковы, достоверный прием любого из них несет 1 дв. ед. информации.

В данном случае имеем равновероятные события, для которых справедлива мера Хартли: I=log₂2=1 дв.ед.

Вопрос 6. Свойства энтропии источника дискретных сообщений

В соответствии с (1.6) энтропия источника дискретных сообщений

.

1. Энтропия есть величина вещественная, неотрицательная и ограниченная.

^{Выделим из формулы для энтропии (1.6) одно слагаемое} и докажем, что это слагаемое является величиной вещественной, неотрицательной и ограниченной. Заметим, что для крайних значений ^{и рассматриваемое слагаемое обращается в нуль. При этом для значения необходимо рассмотреть предел, который использован в примере для двоичного канала.}

.

Здесь р перевели в знаменатель в виде дроби 1/р. В числителе остается –logp, который представлен как log1/p=log1– logp = –logp, т.к. log1=0.

Обозначив и воспользовавшись правилом Лопиталя, получим

.

^{Для значений} интересующее нас слагаемое будет вещественным и неотрицательным. Для доказательства ограниченности величины найдем , при котором исследуемая величина примет максимальное значение. Для этого, как известно, надо отыскать производную и приравнять ее нулю:

,

Решая приведенное выше уравнение, получаем .

^{Этому значению} будет соответствовать максимальное значение слагаемого –p(x_i)log(p(x_i)), равное 0,531. Таким образом, интересующее нас слагаемое является вещественным, неотрицательным и ограниченным. График зависимости величины этого слагаемого от приведен на рис..1.2. Поскольку энтропия представляет собой ограниченную сумму слагаемых, то свойства для одного слагаемого в данном случае можно перенести на всю сумму.

2. ^{Энтропия лишь в том случае, когда все вероятности} , кроме одной, равны нулю, а эта единственная вероятность равна единице. Следовательно, ^{только в случае полной определенности исхода опыта, а в остальных случаях} . ^{Последнее вытекает из того, что и, как было доказано в п.1.4.1,} .

3. При заданном энтропия максимальна и равна лишь тогда, когда все события равновероятны, т.е. .

---

^{Это свойство можно доказать следующим образом. Для краткости записи обозначим и представим (1.6) в виде}

. (1.8)

Поскольку все события x_i независимы и несовместны, то сумма их вероятностей равна 1. Тогда применительно к (1.8) должно выполняться условие

^{. (1.9)}

^{Найдем значения} , при которых энтропия имеет максимальное значение.

Согласно правилу отыскания относительного максимума функции нескольких переменных с учетом (1.8) и (1.9) имеем

^,

^где – множитель Лагранжа.

^{Подставляем в последнее равенство значения из (1.8)} и, выполнив дифференцирование, получаем

,

откуда

, (1.10)

где .

Заметим, что с учетом (1.10) ^{, откуда} следует , что соответствует равной вероятности событий. Найденное экстремальное значение соответствует максимуму энтропии. Изложенное свойство энтропии 1.4.3 полностью согласуется с графиком зависимости от на рис. 1.1 для двоичного канала как источника информации.

Вопрос 7. Энтропия источника совместных сообщений

Возьмем два ансамбля событий: , который представляется (1.4)

, и , описываемый как

. (1.11)

Будем рассматривать совместные (происходящие вместе) события и . Все возможные пары могут рассматриваться как элементы нового объединенного ансамбля . В качестве примера совместных событий и можно отметить состояния и , формируемые в r- и s-разрядных регистрах, широко используемых в информационных системах. При этом число состояний r-разрядного регистра составит , а s-разрядного – . Каждому из состояний регистров с помощью логических дешифраторов можно привести в соответствие двоичные сигналы (события) ( ) и ( ). Все возможные пары и могут быть реализованы с использованием двухвходовых логических элементов «И» (конъюнкторов). Таким образом, на выходах этих логических элементов получим двоичных сигналов (сообщений), которые можно рассматривать как элементы нового ансамбля .

Объединенный ансамбль таких сообщений представим в виде

			…
			…
			…
			…

Ансамбль может рассматриваться как некий новый, в котором возможны различных состояний (событий) с заданным распределением вероятностей .

Энтропия такого ансамбля, т.е. энтропия исхода совместных событий , может быть получена по аналогии с энтропией (1.8) в следующем виде:

. (1.12)

Известно, что вероятность совместного события равна произведению вероятности одного события на условную вероятность другого события, при условии, что произошло первое событие [3]

, (1.13)

где – вероятность события при условии, что произошло событие (условная вероятность ), – условная вероятность .

---

Проделав подстановку (1.13) в (1.12) и соответствующие преобразования, получим

_. (1.14)

Вопрос 8. Что такое условная энтропия?

^{Для условных вероятностей известно, что [3], тогда выражение (1.14) с учетом (1.8) можно привести к виду}

, (1.15)

^где . (1.16)

Здесь будем называть условной энтропией ансамбля . Условную энтропию структурно можно рассматривать как математическое ожидание частных условных энтропий ансамбля . Следовательно, условная энтропия равна среднему значению частных условных энтропий и характеризует неопределенность исхода событий при известных событиях :

.

Легко видеть, что условная энтропия , так же как энтропии и , – величина положительная, т.е. .

Обратим внимание на то, что формула (1.13) для вероятности совместных событий, по сути, имеет две формы записи. Используя это, нетрудно представить и энтропию совместных событий в двух видах:

. (1.17)

Вопрос 9.

Определение количества информации источника дискретных сообщений при неполной достоверности результатов опыта

Как уже отмечалось, информация о том или ином событии или факте добывается всегда в результате целенаправленного опыта, причем после опыта ситуация оказывается не всегда полностью определенной, и мы не можем с полной достоверностью утверждать, какое именно событие имело место. Требуется определить количество информации, приходящееся в среднем на один опыт, когда полная достоверность его исхода отсутствует.

Пусть интересующие нас события или факты составляют ансамбль (1.4) (переданные сообщения)

,

а результаты опыта, на основе которых мы выносим суждение об исходе событий , составляют ансамбль (1.11) (принятые сообщения)

.

Обозначим через вероятность того, что при известном исходе опыта имело место событие . Если, например,

(1.18)

то в результате опыта ситуация полностью определена, и мы можем с полной достоверностью утверждать, какое событие (сообщение) имело место. Так как неопределенность исхода событий до опыта равна , а после опыта неопределенность отсутствует, то в этом случае

(1.19)

где – количество информации, содержащееся в среднем в опытах относительно интересующих нас событий .

В более общем случае, когда для различных , после опыта сохранится неопределенность, которая, очевидно, приведет к уменьшению количества информации (1.19).

Количество информации, содержащееся в опыте относительно событий , которое назовем частной мерой количества информации при ее неполной достоверности, можно определить по формуле (1.2) как

. (1.20)

Здесь условная вероятность определяет послеопытную вероятность .

Количественная мера информации (1.19) по аналогии с другими мерами будет представлять в данном случае усреднение частных мер количества информации (1.20) при неполной достоверности результатов опыта:

---

. (1.21)

С учетом соотношений (1.13), соответствующих подстановок и преобразований, используемых в (1.14), из выражения (1.21) получим

откуда находим (с учетом условия ) количество информации, в среднем приходящееся на один опыт при его неполной достоверности,

, (1.22)

где – условная энтропия, характеризующая потерю информации из-за недостоверности результатов опыта.

Учитывая две формы записи (1.13) вероятности совместных событий для введенной меры количества информации, наряду с (1.22) нетрудно получить дополнительные формы:

, (1.23)

которые могут использоваться при вычислении количества информации.

Вопрос 10. Свойства количественной меры информации при неполной достоверности результатов опыта. 

Некоторые свойства количественной меры информации источника дискретных сообщений при неполной достоверности результатов опыта

1.7.1. Количество информации, содержащееся в опытах относительно интересующих нас событий , не превосходит энтропии событий , т.е.

.

Этот максимум достигается лишь при выполнении условия (1.18), т.е. если результат опыта достоверно определяет событие.

1.7.2. , т.е. энтропия может быть истолкована как информация, содержащаяся в событиях (опытах) относительно самих себя. Из этого непосредственно вытекает, что энтропия событий есть наибольшее количество информации об этих событиях, которое можно получить из опытов.

1.7.3. , если при всех значениях и , что имеет место для статистически независимых событий. Это означает, что количество получаемой информации равно нулю, когда исход опытов не зависит от исхода событий. Данный вывод полностью согласуется с нашими интуитивными представлениями.

Вопрос 11. Вычисление количественной меры информации для двоичного канала с помехами. 

Применительно к этому примеру рассмотрим двоичный канал передачи данных, который был упомянут ранее в примере (раздел 1.3). В отличие от него будем считать, что на выходе этого канала из-за искажений, обусловленных помехами и сбоями в аппаратуре, принятые символы двоичного канала оказываются недостоверными, т.е. вероятность правильного приема символов оказывается меньше 1 и в соответствии с формулой (1.18). Пусть будем иметь . Вероятность ошибочного приема символов двоичного кода . Для рассматриваемого примера примем .

Для вычисления воспользуемся (1.22), (1.16) и (1.6). Из (1.6) получаем

.

В данном случае

,

.

Условные вероятности найдем из равенства

и, следовательно,

.

Для нашей задачи имеем

и, следовательно,

или

По аналогии с (1.16) получаем

или

,

.

В итоге согласно (1.22) имеем

.

Если бы в рассматриваемом случае двух событий опыт был достоверным, т.е. выполнялись условия

,

то очевидно, что

.

Таким образом, недостоверность опыта, когда вероятность ошибочного исхода составляет 0,1, приводит к уменьшению количества информации, получаемой из опыта, почти в 2 раза.

---

Вопрос 12.  Как оценивается избыточность источника сообщений? 

Избыточность источника сообщений

Вспомним теперь, что энтропия характеризует количество информации, приходящееся в среднем на одно сообщение. Рассмотренные ранее примеры показывают, что при одинаковом количестве различных символов (сообщений) количество информации, приходящееся на одно сообщение, может быть различным в зависимости от статистических характеристик источника. Энтропия источника максимальна и равна , если символы вырабатываются с равными вероятностями; если же это не так и некоторые символы повторяются часто, а другие редко, то энтропия источника уменьшается, а при появлении дополнительных коррелятивных связей между символами энтропия становится еще меньшей. Это положение хорошо согласуется с интуитивным представлением о количестве информации, вырабатываемой тем или иным источником. Так, например, если из предшествовавшего опыта свойства лектора или докладчика известны настолько хорошо, что слушатели с высокой степенью достоверности знают, о чем он будет говорить, то количество информации, сообщаемой таким лектором, будет очень малым, несмотря на большое количество произнесенных слов.

Для того чтобы выяснить, насколько хорошо в источнике сообщений используются разные символы (а источник будет тем лучше, чем больше информации он будет вырабатывать), вводится параметр, называемый избыточностью и равный

. (1.24)

При этом есть максимальная энтропия или наибольшее количество информации, которое может приходиться на один символ источника при данном числе используемых символов.

Из (1.24) видно, что при энтропия источника , т.е. источник генерирует максимальное количество информации на символ. Если , то и, следовательно, информация, вырабатываемая источником, равна нулю. В общем случае . Чем меньше избыточность , тем рациональнее работает источник, тем большее количество информации он вырабатывает.

Следует, однако, иметь в виду, что не всегда нужно стремиться к тому, чтобы . Некоторая избыточность бывает полезной для обеспечения надежности передачи, регистрации и других преобразований информации. Известно, например, что лектора, который не повторяет или не разъясняет более подробно, на примерах отдельные положения, слушать и конспектировать значительно труднее, чем лектора, который в разумной мере пользуется этими приемами.

Если не различать буквы «е» и «ё», а также мягкий и твердый знаки, то в русском алфавите всего 31 буква, к ним нужно добавить еще пробел между словами, так что всего получается 32 символа. Если бы все символы были равновероятны, то энтропия такого языка была бы равна

.

В действительности, однако, вероятности различных символов различны; так, например, вероятность буквы «о» равна приблизительно 0,09, а буквы «ф» – 0,002. Кроме того, между символами имеют место значительные коррелятивные связи.

---

Смотрите также файлы

• Навч.посібник Акушерство, гінекологія та штучне осіменіння с.г. тварин, Харута, 2013.pdf

• Ветеринарне акушерство, Яблонський, 2006.pdf

• МЕДИКО-тактическая характеристика очагов.docx

• Этика ДО Экзамен Ответы.docx

• 1.3 Формы общественной организации производсива.docx