ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 11.01.2024
Просмотров: 319
Скачиваний: 5
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
20
Различают общую условную энтропию и частную. Общая условная энтро-
пия сообщения В относительно сообщения А характеризует количество инфор- мации, содержащееся в любом символе алфавита, и определяется усреднением по всем символам, т.е. по всем состояниям с учетом вероятности появления каждого из состояний, и равна сумме вероятностей появления символов алфавита, умно- женной на неопределенность, которая остается после того как адресат принял сигнал.
Если передавать m сигналов А и ожидать получить m сигналов В, влияние помех в канале связи описывается канальной матрицей
Вероятности, расположенные по диагонали, определяют правильный прием сообщений, а остальные – ложный. Если описывать канал связи со стороны ис- точника сообщений, то прохождение данного сигнала описывается распределени- ем условных вероятностей вида P(bj / ai). Для сигнала а1 это будет распределение вида
P(b1/a1) + P(b2/a1) + … + P(bj /a1) +… + P(bm /a1). (3.5)
Сумма вероятностей распределения всегда должна равняться единице. По- тери информации, которые приходятся на долю сигнала а1, описываются с помо- щью частной условной энтропии вида
21
Суммирование производится по j, так как i-тое состояние (в данном случае) остается постоянным.
Чтобы учесть потери при передаче всех сигналов по данному каналу связи, надо просуммировать все частные условные энтропии. Для случая равновероят- ных появлений сигналов на выходе источника
Для случая неравновероятного появления следует учесть вероятность появ- ления каждого символа. Тогда общая условная энтропия будет
Если мы исследуем канал связи со стороны приемника сообщений, то с по- лучением сигнала bjпредполагаем, что был послан какой-то из сигналов a1, a2, … ai, … am. При этом канальная матрица будет иметь вид
В этом случае единице должны равняться суммы условных вероятностей по столбцам канальной матрицы
P(a1/bj) + P(a2/bj) + … + P(ai /bj) +… + P(am /bj) = 1 (3.9)
Частная условная энтропия
Общая условная энтропия
22
Наравне с выражением (3.8) для вычисления общей условной энтропии мо- жет быть использовано выражение
Если заданы безусловные вероятности источника и канальная матрица, то можно вычислить энтропию приемника
Если взаимозависимость связывает 3 элемента ai, aj, ak, то условная энтро- пия вычисляется по формуле
Энтропия объединения используется для вычисления энтропии совместного появления статистически зависимых сообщений. Например, передав сто раз циф- ру 5 по каналу связи с помехами, эта цифра была принята 90 раз, цифра 6 была принята 8 раз, цифра 4 – 2 раза. Неопределенность возникновения комбинаций может быть описана с помощью энтропии объединения. Н(А, В) - неопределен- ность того, что будет послано А, а принято В. Для ансамблей переданных сооб- щений А и принятых сообщений В энтропия объединения представляет собой сумму вида
Энтропия объединения и условная энтропия связаны соотношениями
H(A,B) = H(A) + H(B/A) = H(B) + H(A/B)
H(B/A) = H(A,B) - H(A); H(A/B) = H(А,B) - H(B) (3.15)
Количество информации на символ сообщения, переданного по каналу свя- зи, в котором влияние помех описывается при помощи энтропии объединения, вычисляется так
I(A,B) = H(A) + H(B) – H(B/A). (3.16)
23
3.3 Задание
Задача 1. При передаче каждых 100 сообщений длиной по 5 символов в со- общении символ К встречается 50 раз, символ Т – 30 раз. Совместно К и Т встре- чаются 10 раз. Определить условные энтропии Н(К/Т) и Н(Т/К).
Задача 2. При передаче текстовых сообщений наблюдения показали, что для слов со средней длиной в 6 букв на каждые 100 сообщений буква А встреча- ется 80 раз, буква В встречается 50 раз, буквы А и В вместе встречаются 10 раз.
Определить условную энтропию появления А, если в слове присутствует В, и ус- ловную энтропию появления В, если в слове присутствует А.
Задача 3. Определить общую условную энтропию сообщений, составлен- ных из алфавита А, В, если вероятности появления символов в сообщении равны
РА=0,6; РВ=0,4. Условные вероятности переходов одного символа в другой равны
Р(В/А)=0,15; Р(А/В)= 0,1.
Задача 4. В одной корзине два яблока и одна груша, в другой три яблока и одна груша, в третьей – два яблока и две груши. Определить полную условную энтропию возможности вытащить яблоко из любой корзины.
Задача 5. Влияние помех в канале связи описывается следующим распреде- лением условных вероятностей
Вычислить полную условную энтропию сообщений, передаваемых по дан- ному каналу связи: а) при равновероятном появлении символов в сообщении; б) при вероятностях Р(а1) = 0,7; Р(а2) = 0,2; Р(а3) = 0,1.
Задача 6. а)Определить частные условные энтропии для каждого символа алфавита а1, а2, а3, а4, если канал связи для передачи сообщений описывается следующей канальной матрицей
24 б) Найти общую условную энтропию для сообщений, передаваемых по ка- налу связи, описанному приведенной выше канальной матрицей, если символы источника равновероятны; в) Найти общую условную энтропию для сообщений, передаваемых по ка- налу связи, если распределение вероятностей появления символов на выходе ис- точника сообщений имеет вид Р(а1) = 0,15; Р(а2) = 0,32; Р(а3) = 0,25; Р(а4) = 0,28.
Задача 7. Определить общую условную энтропию сообщений, передавае- мых по каналу связи, описанному канальной матрицей
Символы алфавита равновероятны.
Задача 8. Определить энтропию приемника сообщений, если вероятности появления символов на выходе источника сообщений равны Р(а1) = 0,5; Р(а2) =
0,3; Р(а3) = 0,2 и канальная матрица имеет вид
Задача 9. Определить энтропию источника сообщений, если вероятности появления символов на входе приемника сообщений равны Р(b1) = 0,1; Р(b2) =
0,3; Р(b3) = 0,4; Р(b4) = 0,2 и канальная матрица имеет вид
25
Задача 10. Задана матрица вероятностей системы, объединенн
1 2 3 4
4 Лабораторная работа № 4. Вычисление информационных
потерь при передаче сообщений по каналам связи с шумами
4.1 Цель работы
Освоение метода вычисления информационных потерь при передаче сообщений по каналам связи
4.2 Теоретические сведения
Потери информации в каналах связи с шумами описывают с помощью условной энтропии и энтропии объединения. Если помех нет или их уровень низкий настолько, что они не могут уничтожить сигнал или имитировать сигнал в отсутствие передачи, то при передаче ai будет получен сигнал bj, соответствующий переданному сигналу. События А и В жестко связаны, при этом условная вероятность максимальна P(bj/ai) = 1, и условная энтропия Н(А/В) = 0, так как log P(bj/ai) = 0. Для этого случая количество информации в принятом ансамбле сообщений В, равно энтропии передаваемых сообщений ансамбля А
I(B,A) = H(A) (4.1)
Если уровень помех высок, то любой из принятых сигналов bj может соответствовать любому переданному сигналу ai, статистическая связь между переданными и принятыми сигналами отсутствует. Поэтому вероятности P(аi) и
P(bj) являются вероятностями независимых событий и P(bj/ai) = P(bj); P(ai/bj) =
P(ai). информации, содержащееся в В, относительно А равно нулю
27
I(A,B) = H(A) – H(A/B) = 0 (4.3)
Информационные характеристики реальных каналов связи лежат между этими двумя предельными случаями. При этом потери информации при передаче k символов по данному каналу связи
)
/
(
B
A
kH
I
(4.4)
Из-за помех часть информации искажается, однако между переданными и принятыми сообщениями существует статистическая взаимосвязь. Это позволяет описывать информационные характеристики реальных каналов связи с помощью энтропии объединения статистически зависимых событий. Так как
H(A,В) = H(A) + H(В/А) = Н(В) + H(A/B), (4.5) то потери в канале связи могут быть учтены с помощью энтропии объединения следующим образом
I(В,А) = H(A) + Н(В) - H(В,А). (4.6)
Если использовать условную энтропию, то получим
I(В,А) = H(A) - H(А/В) = Н(В) - H(В/А). (4.7)
Для вычисления среднего количества информации, содержащегося в при- нятом ансамбле сообщений В относительно переданного ансамбля А в условиях действия помех, пользуются следующими выражениями
Для вычислений часто применяют выражения
28
Для полного описания канала связи необходимо задать: канальную матрицу вида Р(ai/bj) и безусловные вероятности вида P(bj) или канальную матрицу вида
Р(bj/ ai) и безусловные вероятности P(ai), или канальную матрицу вида Р(ai, bj). В последнем случае сумма значений матрицы по столбцам дает безусловные веро-
Зная условные и безусловные вероятности, можно найти энтропии H(A),
H(B), H(A/B), H(B/A). Если уровень помех настолько высок, что с равной вероят- ностью можно ожидать переход любого символа источника сообщения в произ- вольный символ первичного алфавита, то энтропия канала связи будет равна log m, а количество информации I = H(A) – log m < 0, значение I может отрица- тельной величиной, что означает, что канал связи вносит дезинформацию.
Пример. Канал связи задан следующей канальной матрицей
Вычислить среднее количество информации, которое переносится одним символом сообщения, если вероятности появления символов источника сообще- ний равны Р(а1) = 0,7; Р(а2) = 0,2; Р(а3) = 0,1. Определить информационные поте- ри при передаче сообщения из 400 символов алфавита а1, а2, а3. Вычислить коли- чество принятой информации.
Решение. Энтропия источника сообщений
29
Общая условная энтропия
Потери в канале связи
)
/
(
А
В
kH
I
= 400*0,473 = 189,5 бит.
Энтропия приемника
P(b1) + P(b2) + P(b3) = 1
H(B) = - (0,726 log 0,726 + 0,187 log 0,187 + 0,087 log 0,087) =
= 1,094 бит/символ
Среднее количество принятой информации
I = k [H(B) – H(B/A)] = k H(B) -
I
= 400* 1,094 – 189,5 = 248,1 бит.
30
4.3 Задание
Задача 1. Найти информационные потери в канале связи, заданном каналь- ной матрицей.
Задача 2. Определить информационные потери в канале связи. Заданном матрицей, если символы алфавита встречаются в сообщениях с равной вероятно- стью.
Задача 3. Определить среднее количество информации, содержащееся в принятом ансамбле сообщений относительно переданного, если сообщения со- ставлены из алфавита А, В, С. Вероятности появления букв алфавита на выходе источника сообщений Р(Ai) = P(Bi) = 0,25; P(Ci) = 0,5. Условные вероятности пар вида bi/ai следующие
Р(А/А) = 0,97; Р(А/В) = 0,02; Р(А/С) = 0,01;
Р(В/А) = 0,015; Р(В/В) = 0,97; Р(В/С) = 0,01;
Р(С/А) = 0,015; Р(С/В) = 0,01; Р(С/С) = 0,98.
Проверить правильность результата.
Задача 4. Определить информационные потери в канале связи, заданном следующей канальной матрицей
31
Вероятности появления символов А, В, С, D на выходе источника сообще- ний соответственно равны РА = 0,4; РВ = РС =PD =0,2. Определить среднее коли- чество информации в принятых сообщениях относительно переданных.
Задача 5. Используя энтропию объединения, определить количество ин- формации при передаче сообщений, построенных из алфавита 1, 2, 3, если апри- орные вероятности появления символов первичного алфавита равны между собой, а в результате действия помех 5% символов передаваемых сообщений могут с равной вероятностью перейти в любой другой символ данного алфавита.
Задача 6. Определить количество информации в принятом ансамбле сооб- щений, если заданы условные вероятности перехода одного сигнала в другой и вероятности появления сигналов на выходе источника сообщений Рa = 0,2; Рb =
0,3; Рc = 0,5; Р(а
1
/а) = Р(b
1
/b) = P(c
1
/c) = 0,97; Р(b
1
/а) = Р(c
1
/a) = P(a
1
/b) = Р(c
1
/b) =
Р(a
1
/c) = P(b
1
/c) = 0,015.
4.4 Контрольные вопросы
1 Чему равна энтропия объединения при независимости входящих в нее систем?
2 Как вычислить среднее количество информации в условиях помех?
3 Чему равна энтропия объединения при функциональной зависимости входящих в нее систем?
4 Чему равна взаимная информация между независимыми системами?
5 Может ли быть взаимная информация между двумя системами больше, чем наименьшая из энтропий этих систем?
6 Как вычислить информационные потери при передаче ее от одной систе- мы к другой?
7 Что необходимо для полного описания канала связи?
8 Какие характеристики канала связи можно определить из канальной мат- рицы?