На выходе канала используется решающее устройство (РУ), с помощью которого принимаемые сигналы разделяются на две области z₀ и z₁ так, что если сигнал попадает в область z₀, то считается (принимается решение), что был передан сигнал y₀, а если в z₁, то – у₁.

Решающее устройство допускает принятие и ошибочных решений. Например, сигнал у₁ может быть искажен помехой так, что он окажется в области z₀, в результате чего РУ принимает ошибочное решение, вероятность которого обозначим P(z₀/y₁) = P_I. Аналогичное ошибочное решение может быть принято и для сигнала у₀. Вероятность этого решения составит P(z₁/y₀)=P_II.

Очевидно, что при данных обозначениях вероятности правильного решения будут P(z₀/y₀)=1–P_II и P(z₁/y₁)=1–P_I. Для краткости записи обозначим априорные вероятности передачи сигналов P(y₀)=P₀ и P(y₁)=P₁=1–P₀. Для рассматриваемого двоичного канала введенные обозначения схематично показаны на рис. 3.2 в виде следующей модели.

Используя правила теории вероятностей, можно найти значения априорных вероятностей различных решений, принимаемых на выходе канала:

3.12)

Рис. 3.2. Модель двоичного канала

Для вычисления пропускной способности рассматриваемого канала находим

, (3.13)

или в принятых обозначениях вероятностей с учетом (3.12):

(3.14)

Подставив найденные значения и в формулу (3.9), получим соотношение, определяющее скорость передачи информации , из которого может быть найдено оптимальное значение априорной вероятности (Р_0опт) передачи сигнала у₀, при котором принимает максимальное значение, равное пропускной способности канала С_с.

Для иллюстрации изложенного рассмотрим в качестве примера симметричный двоичный канал без памяти. В этом канале P_I = P_II = P_ош, т.е. вероятности ошибочного приема сигналов (символов) у₀ и у₁ одинаковы. Тогда из (3.14) находим

.

Очевидно, не зависит от Р₀. В таком случае скорость передачи информации (3.9) будет максимальной, когда величина примет наибольшее значение. Из свойств энтропии следует, что это условие выполняется, когда P(z₀)=P(z₁)=0,5, и в этом случае .

Таким образом, для симметричного двоичного канала пропускная способность

. (3.15)

Как отмечалось ранее, для достижения максимальной скорости передачи информации необходимо в кодирующем устройстве обеспечить такое формирование символов кода, при котором Р₀=Р_0опт. Значение Р_0опт можно вычислить из выражений (3.12), приняв во внимание P_I=P_II=P_ош и P(z₀)=P(z₁). Путем вычитания из (3.12) находим:

Р_0опт(1–Р_ош)+(1–Р_0опт)Р_ош – (1–Р_0опт)(1–Р_ош) –Р_0оптР_ош = 0.

Далее можем получить 1 – 2Р_0опт = 2Р_ош (1 – 2Р_0опт), откуда Р_0опт = 0,5.

Таким образом, условие обеспечения максимальной скорости передачи информации в симметричном канале с шумами такое же, как и в канале без шумов. Однако наличие шумов, приводящих к ошибкам, снижает пропускную способность каналов.

На рис. 3.3 приведен график зависимости С_с от Р_ош, полученный из формулы (3.15).

---

Как видно из этого графика, при Р_ош= 0,5 пропускная способность канала С_с= 0. Этот результат станет очевидным, если учесть, что для значения Р_ош= 0,5 при передаче каждого из символов на выходе канала с равной вероятностью может быть принято решение z₀ и z₁.

Эти решения могут иметь такую же ценность, как если бы передача сигналов прекратилась, и на выходе канала принималось бы решение по результатам бросания монеты (цифра или герб). Интересно также отметить, что если Р_ош  0,5, то с увеличением Р_ош пропускная способность канала возрастает. Этот, на первый взгляд, парадоксальный вывод становится очевидным, если принять во внимание, что мы всегда можем изменить правило распознавания символов на обратное, т.е. считать, что решение z₁ соответствует передаче символов у₀, а решение z₀ – передаче символа у₁. Тогда вероятность принятия ошибочного решения станет равной 1 – Р_ош.

Рис. 3.3. График зависимости С_с от Р_ош

Вопрос 25.

Пропускная способность непрерывных (аналоговых) каналов

Независимо от характера преобразований сигналов, происходящих в конкретном непрерывном канале связи, можно рассматривать этот канал как некоторый преобразователь (рис. 3.4), устанавливающий соответствие между сигналами на выходе z(t) и на входе y(t). В результате воздействия помех (шумов) соотношение между z(t) и y(t) носит вероятностный характер.

Рис. 3.4. Структура непрерывного канала

Количество информации, содержащейся в случайном сигнале Z_T, о случайном сигнале Y_T находится как

I(Z_T,Y_T) = H(Z_T) – H(Z_T/Y_T) . (3.16)

Рассмотрим случай, когда входной y(t) и выходной z(t) сигналы являются стационарными, эргодическими и стационарно связанными функциями времени. Выберем отрезки этих функций на временном интервале Т, полагая, что вне этого интервала y(t) и z(t) невелики, так что функции y_T (t) и z_T (t) с допустимой погрешностью определяются m отсчетами сигналов, взятыми в соответствии с теоремой Котельникова. В этом случае

H(Z_T) = mH(Z), (3.17)

H(Z_T/Y_T) = mH(Z/Y), (3.18)

в которых H(Z) – энтропия одного отсчета сигнала z_T (t), а Н(Z/Y) – условная энтропия отсчета.

Из выражений (3.16) – (3.18) получаем

I(Z,Y) = mH(Z) – mH(Z/Y), (3.19)

где индексы опущены, так как они отсутствуют в правой части равенства.

При сделанных допущениях скорость передачи информации в непрерывном канале можно определить как

, (3.20)

где ; Т₀ – период отсчетов непрерывных сигналов z_T (t) и y_T (t), определяемый теоремой Котельникова: (здесь F_m – максимальная частота спектра сигналов),

^,(3.21)

^{. (3.22)}

Из соотношений (3.20) – (3.22) следует, что скорость передачи информации в непрерывном канале (поток информации, получаемый на выходе канала) зависит от характеристик помех, действующих в канале и определяющих функцию W(z/y), и от статистики передаваемых (преобразуемых) сигналов W(y), так как .

Если W(z/y) определяется свойствами канала, то, варьируя W(y), можно найти такую функцию распределения входного сигнала y(t), при которой поток получаемой информации будет наибольшим. Эти соображения позволяют написать выражение для пропускной способности непрерывного канала в виде соотношения

---

.

Вопрос26. Формула Шеннона для аналогового канала с шумами. 

Рассмотрим случай, когда помеха в канале действует как аддитивный шум n(t), т.е.

z(t) = y(t) +n(t).

Допустим также, что этот шум – стационарный, имеет нормальный закон распределения и его средняя мощность равна его дисперсии P_ш=_N² (_N² – дисперсия сигнала помехи). Заметим, что шум с нормальным законом распределения обладает максимальной энтропией, следовательно, такой шум создает максимальное воздействие на полезный сигнал.

Определив пропускную способность канала, примем во внимание, что его полоса частот пропускания ограничена пределами от 0 до F_m, а средняя мощность Р_c полезного сигнала y(t) выражается через его дисперсию: P_c = _Y².

С учетом ограничения полосы частот пропускания канала спектры частот сигналов y(t), z(t) и n(t) не должны превышать частоты F_m. В этом случае , и тогда выражение (3.20) можно представить так:

.

В случае аддитивной помехи последнее выражение можно записать как

, (3.24)

где H(N) – энтропия источника помехи (в нашем случае) с нормальным законом распределения, имеющим вид

. (3.25)

Энтропию такого источника найдем по формуле

. (3.26)

Так как и , из выражения (3.26) с учетом (3.25) получим

(3.27)

Пропускную способность рассматриваемого канала можно найти с учетом (3.24) и (3.27) в виде

. (3.28)

Поскольку F_m и _N в нашем случае заданы, то выражение, стоящее в квадратных скобках, будет наибольшим, если энтропия выходных сигналов канала H(Z) будет максимальной. Так как средние мощности полезного сигнала y(t) и шума n(t) ограничены, то их аддитивная смесь на выходе канала z(t) будет также иметь ограниченную мощность. При таком условии известно, что H(Z) будет наибольшей, если z(t) имеет нормальный закон распределения. Поскольку помеха имеет нормальный закон распределения, то и полезный сигнал y(t) должен иметь нормальный закон распределения. Если полезный сигнал и сигнал помехи статистически независимы, то _Z² =_Y² + _N² и, следовательно,

.

Подставляя это значение H(Z) в (2.13) и учитывая обозначения _Y²=Р_с и _N²=Р_ш, получаем

. (3.29)

Выражение (3.29) представляет собой широко известную формулу Шеннона. Учитывая важность формулы Шеннона, проводим ее более детальное обсуждение. Из равенства (3.29) следует, что увеличить пропускную способность непрерывного канала можно или за счет расширения его полосы частот пропускания F_m и соответствующего расширения спектра полезного сигнала, или за счет увеличения мощности полезного сигнала Р_с.

Из рассмотрения формулы (3.29) следует, что одно и то же значение пропускной способности можно получить при разных комбинациях значений полосы частот пропускания канала и отношения Р_с /Р_ш.

Вопрос 27. Энтропия источника при наличии коррелятивных связей между двумя соседними символами 

Энтропия источника при наличии коррелятивных связей между двумя соседними символами

Полученные ранее выражения для энтропии дискретного источника сообщений справедливы в случае, когда все сообщения независимы.

---

Рассмотрим источник, у которого имеют место коррелятивные связи между двумя соседними символами. Вероятность появления символа x_i зависит лишь от того, какой символ был выработан до этого.

Для описания такого источника необходимо задать распределение вероятностей p(x_i) и вероятности переходов (условная вероятность) p(x_i|x_k) или вероятности всех возможных пар символов p(x_i, x_k).

Нижеприведенное выражение описывает связь между этими вероятностями

. (3.50)

Если коррелятивные связи имеются между двумя соседними символами, то энтропия источника равна

(3.51)

Сравним энтропии источников с независимыми событиями и с коррелятивными связями между двумя соседними сообщениями.

Вероятности каждого из четырех сообщений равны:

p(x₁)=1/2, p(x₂)=1/4, p(x₃)= p(x₄)=1/8.

Для независимых событий

.

Пусть между двумя соседними символами имеются коррелятивные связи, которые описываются таблицей

xixj	p(xi, xj)	p(xi | xj)	xixj	p(xi, xj)	p(xi | xj)
x1x1	13/32	13/16	x3x1	0	0
x1x2	3/32	3/16	x3x2	0	0
x1x3	0	0	x3x3	0	0
x1x4	0	0	x3x4	1/8	1
x2x1	1/32	1/8	x4x1	1/16	1/2
x2x2	1/8	1/2	x4x2	1/32	1/4
x2x3	3/32	3/8	x4x3	1/32	1/4
x2x4	0	0	x4x4	0	0

По заданным вероятностям появления символов p(x_i) и вероятностям пар импульсов p(x_i, x_j) из (3.50) определяются условные вероятности

, представленные в третьем и шестом столбцах таблицы.

Используя (3.51), получим , т.е. при наличии коррелятивных связей между сообщениями источника энтропия уменьшается.

Вопрос 28. Принципы помехоустойчивого кодирования. Кодовое расстояние. 

Необходимость передачи цифровых сообщений на значительные расстояния, использование сетевых технологий предъявляют повышенные требования к достоверности передачи, обработки и ранения информации. Простые двоичные коды не удовлетворяют этим требованиям. Рассмотрим простой трехразрядный код: 000,

001,

010 …

Для простого двоичного кода искажения любого символа воспринимаются как другая кодовая комбинация. В результате на приемной стороне принимается ошибочная кодовая комбинация. Оценим вероятность такой ошибки.

Пусть р – вероятность искажения одного символа, а q – вероятность правильного приема одного символа.

Искажение и правильный прием образуют пару несовместных событий, поэтому сумма их вероятностей равна единице.

Тогда q=1 – p.

Так как символы искажаются независимо друг от друга, то вероятность правильного приема комбинации из n символов:

(4.1)

Вероятность искажения кодовой комбинации:

(4.2)

При и менее (1– р)ⁿ≈1–рn. Тогда Р_к≈np. Для .

Для повышения достоверности приема цифровых сигналов используют помехоустойчивое кодирование.

Основной принцип помехоустойчивого кодирования

---

помехоустойчивый код - Это избыточные коды в которых число разрешенных кодовых комбинаций меньше общего числа кодовых комбинаций, возможных для двоичного кода данной разрядности.

Пусть имеется простой двоичный код, с помощью которого можно передать кодовых комбинаций. Из этого числа N используют лишь кодовых комбинаций.

- число разрешенных кодовых комбинаций.

- число запрещенных кодовых комбинаций.

Для исключения возможности перехода одной разрешенной комбинации в другую разрешенную кодовую комбинацию выполняется соотношение .

Так как в помехоустойчивом коде число разрешенных кодовых комбинаций меньше общего числа кодовых комбинаций, возможных для двоичного кода данной разрядности, то помехоустойчивые коды называют еще избыточными кодами.

Избыточность кода можно оценить выражением:

(4.3)

- число избыточных символов в переданной кодовой комбинации.

Кодовое расстояние.

Возможность корректирующих кодов по исправлению и обнаружению ошибок определяется кодовым расстоянием.

Кодовым расстоянием d называется минимальное количество разрядов, в которых одна кодовая комбинация отличается от другой кодовой комбинации, оно определяет возможность корректирующих кодов по исправлению и обнаружению ошибок.

Для конкретного кода кодовым расстоянием данного кода называется минимальное число элементов, которыми одна кодовая комбинация данного кода отличается от другой кодовой комбинации того же кода.

Иногда кодовое расстояние называется хемминговым расстоянием (по имени Ричарда Хемминга основателя помехоустойчивых кодов) .

У простого двоичного кода d=1. Каким должно быть кодовое расстояние у кодов, обнаруживающих ошибки, и у кодов, исправляющих ошибки?

В общем случае для обеспечения возможности исправления всех ошибок кратности до t включительно при декодировании по методу максимального правдоподобия каждая из ошибок должна приводить к запрещенной кодовой комбинации, входящей в группу таких комбинаций, соответствующих исходной кодовой комбинации.

Пусть имеется n-разрядный двоичный код. Выберем 2 кодовые комбинации и , которые будем считать разрешенными (рисунок 4.1). Каждой разрешенной кодовой комбинации соответствует свое подмножество запрещенных кодовых комбинаций с одиночными ошибками. Число их равно C_n¹, а кодовое расстояние относительно исходной кодовой комбинации d=1. Графически это представляется окружностью с радиусом d=1.

Рисунок 4.1 – Определение кодового расстояния

Аналогично, подмножество запрещенных кодовых комбинаций с двойной ошибкой имеет кодовое расстояние относительно исходной d=2, а число их равно C_n². И так далее до ошибок кратности t включительно.

Для того чтобы при приеме восстановить именно кодовую комбинацию необходимо, чтобы набор ее запрещенных кодовых комбинаций не пересекался с набором запрещенных кодовых комбинаций .

---

Смотрите также файлы

• Навч.посібник Акушерство, гінекологія та штучне осіменіння с.г. тварин, Харута, 2013.pdf

• Ветеринарне акушерство, Яблонський, 2006.pdf

• МЕДИКО-тактическая характеристика очагов.docx

• Этика ДО Экзамен Ответы.docx

• 1.3 Формы общественной организации производсива.docx