Файл: 1. информационная мера шеннона. Количество информации и избыточность.doc

1.ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1.1.Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.

Пусть  и  - случайные величины с множествами возможных значений Х={х₁,х₂,...,х_N}, Y={y₁,y₂,...,y_M}

Количество информации H() при наблюдении случайной величины   X = {x₁,x₂,…,x_N} с распределением вероятностей P={p₁,p₂,…р_N}задается формулой Шеннона:

.

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения. При равномерном распределении р₁=р₂=…=p_N количество информации задается формулой Хартли:



Справедливы следующие соотношения:

• 
  0 H()log₂N;
  
• 
  N=2, p1=p2=0.5, H()=1;
  
• 
  H(,)=H()+H(), если и -независимы. Избыточностью называется
  р= 1‑H(,)/max{ H() } = 1 ‑ H()/log₂N.
  

1.2.Пример.

Источник сообщений выдает символы из алфавита А={а_i}, i = 1..4 с вероятностями р₁ = 0.2, р₂ = 0.3; р₃= 0.4; р₄= 0.1. Найти количество информации и избыточность.

Решение. По формуле Шеннона

Н(А)= -0.2 log₂0.2 – 0.3 log₂ 0.3 – 0.4 Iog₂ 0.4 – 0.1 log₂ 0.1 = 1.86 (бит).

По определению избыточности р = 1 – H(A)! log₂ 4 = 0,07.

1.3.Задачи

Задача 1. Определить энтропию и избыточность источника информации А, передающего сообщения А_i, i= 1..4. Вероятность сообщений определяются по формулам:

---

р₁= 0.2 + 0.005^.V; р₂= 0.3 ‑ 0.005^.V; р₃= 0.1 + 0.01^.V; р₄= 0.4 ‑ 0.01^.V, где V – номер варианта.

Задача 2. На выходе источника сообщений может появляться нуль и единица. Вероятность появления каждого сообщения изменяется со временем и в каждый момент времени может быть определена по формулам:

p(1) = 0.9 – 0.02^.(V - 1) – 0.1^.t, p(0) = 0.1 + 0.02^.(V - 1) + 0.1^.t,

Необходимо исследовать изменение энтропии источника информации во времени и определить момент времени, когда математическая модель опыта теряет смысл. Энтропия источника сообщений вычисляется в соответствии с формулой Шеннона. Все вычисления сводятся в табл.2:

Таблица 2

t	Р(0)	Р(1)	H(0)	Н(1)	H

Значения t задаются целыми числами через равные промежутки времени t = 0,1,2,...

Математическая модель опыта имеет смысл, когда выполняются соотношения для вероятностей р(1)+р(0)= 1; 0 р(0)  1; 0  р(1)  1. Значения t, при котором эти соотношения перестают выполняться, и есть момент времени, когда модель опыта теряет смысл. После заполнения таблицы результатами вычислений следует построить графики изменения H(0), H(1), H. При анализе графиков обратить внимание на точку, где энтропия принимает наибольшее значение и наименьшее значение. Указать значения вероятностей появления символов в этих точках и моменты времени.



Задача 1

Сигнал подается на вход канала (величина ) с вероятностью (логическая единица) и отсутствует (логический ноль) с вероятностью (1 – р). Вероятность того, что поступившая единица правильно воспроизведена на выходе – p^.0.8, а вероятность правильного воспроизведения нуля – p^.0.95 (величина ). Найти энтропию выхода, энтропию входа, взаимную информацию входа и выхода I(S,S');

Задача 2

---

Распределение вероятностей входных и выходных сигналов системы заданы следующей матрицей:

, где
Определить энтропию входа H(Y ), условную энтропию H(Y/X)и Н(Х/Y ), взаимную информацию I (X,Y ).

ХАРАКТЕРИСТИКИ СИСТЕМЫ ПЕРЕДАЧИ ИНФОРМАЦИИ

Каналы передачи информации

Канал связи представляет собой совокупность технических средств для передачи сообщений из одной точки пространства в другую. С точ­ки зрения теории информации физическое устройство канала несуще­ственно. Источник сообщений (ИС) имеет выходной алфавит символов A={а_i}, i=1..n - количество информации, приходящееся в среднем на один символ источника:



где p_i, - вероятность появления символа a_i, на выходе источника, символы источника считаются независимыми. Канал связи имеет алфавит символов B={b_j}, j=1..m, среднее количество информации в одном символе канала



где q_j - вероятность появления символа b_i, в канале.

Техническими характеристиками канала связи являются:

• 
  техническая производительность источника _A - среднее число символов, выдаваемых источником в единицу времени;
  
• 
  техническая пропускная способность канала связи _B - среднее число символов, передаваемое по каналу в единицу времени.
  

Информационной характеристикой источника является инфор­мационная производительность. По определению, информационная производительность - это среднее количество информации, выдава­емое источником в единицу времени.



В канале без помех информационными характеристиками являются:

1 ) скорость передачи информации по каналу

---

2) пропускная способность канала

где {P} - множество всех возможных распределений вероятностей символов алфавита В канала. С учетом свойств энтропии

C_K=_B^.log₂m.

В канале с помехами в общем случае входной и выходной алфа­виты не совпадают. Пусть

B_ВХ=X={x₁,x₂,…,x_n};

B_ВЫХ=Y={y₁,y₂,…,y_m}.

Если отправленный на входе канал символ х_копознан в приемнике как y_i и iK, то при передаче произошла ошибка. Свойства канала описываются матрицей переходных вероятностей (вероятность приема символа у_i, при условии, что послан х_k):

|| P(yi|xk) ||, k=1..n, i=1..m.

Справедливо соотношение:

Среднее количество информации на один входной символ канала:

p_i=p(x_i).

Среднее количество информации на выходной символ канала:



Информация, которую несет выход канала о входе:

I(Y,X)=H(X)-H_Y(X)=H(Y)-H_X(Y).

Здесь Ну(Х) - условная энтропия входного символа канала при на­блюдении выходного символа (ненадежность канала), Н_х(Y) - услов­ная энтропия выходного символа канала при наблюдении входных символов (энтропия шума).

Скорость передачи информации по каналу с помехами:

dI(B)/dt=_BI(X,Y).

Пропускная способность канала с помехами:



где { р} - множество всех возможных распределений вероятностей входного алфавита символов канала.

Рассмотрим пример

Н айти пропускную способность двоичного симметричного канала (канала с двухсимвольными входными и выходными алфавитами) и одинаковыми вероятностями ошибок (рис.1), если априорные вероят­ности появления входных символов: P(x₁)=P₁=P, P(x₂)=P₂=1-P.

Решение. В соответствии с моделью канала условные веро­ятности

---

P(y₁ | x₂) = P(y₂ | x₁) = P_i,

P(y₁ | x₁) = P(y₂ | x₂) = 1-P_i.

Пропускная способность канала - C_K=_B^.max{H(Y)-H(X|Y)}. Найдем энтропию шума:



По теореме умножения: P(y_jx_i)=P(x_i)P(y_j|x_i), следовательно,

P(x₁y₁)=P(1-P_i), P(x₂y₁)=(1-P)P_i, P(x₁y₂)=PP_i, P(x₂y₂)=(1-P)(1-P_i).

Подставляя в формулу, получаем:

Таким образом, H(Y|X) не зависит от распределения входного алфавита, следовательно:



Определим энтропию выхода:

Вероятности P(y₁) и P(y₂)получаем следующим образом:

P(y₁)=P(y₁x₁)+P(y₁x₂)=P(1-P_i)+(1-P_i)P_i,P(y2)=P(y₂x₁)+P(y₂x₂)=PP_i+(1-P)(1-P_i).

Варьируя Р, убеждаемся, что максимальное значение H(Y), равное 1, получается при равновероятных входных символах P(y₁) и P(y₂). Следовательно,



Задача. Найти пропускную способность канала с трехсимвольными входными и выходными алфавитами (x₁, x₂, x₃ и y₁, y₂, y₃ соответсвенно). Интенсивность появления символов на входе канала _k=V^.10 символов/с.

Вероятности появления символов:

, , .

Вероятности передачи символов через канал связи:

---