Файл: 1) Алфавит источника сообщений с вероятностями символов согласно.pdf

3
1 Исходные данные
1) Алфавит источника сообщений с вероятностями символов согласно варианту (таблица 1).
2) Код для сокращения избыточности источника (Шеннона-
Фано или Хаффмена) определяется подвариантом (таблица 2).
3) Канальное кодирование – код Хемминга (7,4)
4) Способ передачи – амплитудная телеграфия (АТ) с пассивной паузой.
5) Форма посылки (радиоимпульс) прямоугольная.
6) Амплитуда сигнала на входе демодулятора U, длительность посылки
τ, дисперсия шума на входе демодулятора
σ
2 определяются подвариантом (таблица 2).
Таблица
1 – Алфавит и вероятности символов
Номер варианта
0 1
2 3
4 5
6 7
8 9 а
0,069 0,035 0,091 0,105 0,055 0,02 0,064 0,032 0,099 0,082 б
0,019 0,11 0,024 0,025 0,1 0,057 0,102 0,058 0,083 0,061 в
0,052 0,049 0,067 0,105 0,054 0,052 0,064 0,089 0,107 0,07 д
0,007 0,089 0,082 0,02 0,116 0,025 0,085 0,064 0,077 0,023 е
0,09 0,001 0,119 0,094 0,087 0,151 0,092 0,085 0,121 0,111 ж
0,06 0,036 0,027 0,036 0,023 0,109 0,074 0,122 0,097 0,124 и
0,101 0,077 0,078 0,087 0,099 0,046 0,102 0,089 0,089 0,131 к
0,11 0,11 0,111 0,093 0,059 0,05 0,028 0,081 0,042 0,045 м
0,062 0,064 0,023 0,016 0,003 0,146 0,026 0,026 0,041 0,019 н
0,053 0,097 0,022 0,107 0,067 0,038 0,067 0,079 0,014 0,118 о
0,1 0,06 0,11 0,066 0,062 0,05 0,014 0,035 0,113 0,091 п
0,09 0,098 0,068 0,055 0,099 0,021 0,014 0,086 0,021 0,011 р
0,115 0,078 0,153 0,122 0,077 0,136 0,167 0,083 0,011 0,098 с
0,071 0,096 0,024 0,07 0,099 0,098 0,131 0,07 0,085 0,016

4
Таблица
2 – Параметры
Номер подварианта
0 1
2 3
4 5
6 7
8 9
Амплитуда сигнала
U
, В
2.8 6
7 8
9 10 11 12 13 14
Длительность посылки τ, мкс
0,9 1,2 1,1 0,5 0,3 0,7 1,5 2,3 0,8 2,6
Дисперсия шума
σ
2
, В
2 1,0 2,5 4,0 4,5 3,2 6,0 4,8 6,5 9,0 12,0
Код
ШФ
Х
ШФ
Х
ШФ
Х
ШФ
Х
ШФ
Х
2 Задание
1) Составить обобщенную структурную схему системы связи для передачи дискретных сообщений, содержащую кодер источника
, модулятор, канал связи, демодулятор и декодер.
Изобразить качественные временные диаграммы сигналов во всех промежуточных точках структурной схемы. Все диаграммы должны сопровождаться словесными описаниями.
2) Определить энтропию и избыточность источника, выполнить кодирование источника (построить экономный код), рассчитать энтропию и избыточность кода, вероятности двоичных символов
, передаваемых по каналу, скорость передачи информации по каналу без помех.
3) Рассмотреть случаи когерентного и некогерентного приёма путём взятия однократного отсчёта смеси высокочастотного сигнала с шумом на выходе линии связи и процесса на выходе детектора огибающей. Определить оптимальный по критерию идеального наблюдателя порог для принятия решения о принимаемом символе при когерентном и некогерентном приёме, условные вероятности ошибок первого и второго рода, среднюю вероятность ошибки, скорость передачи информации при наличии помех
. Сделать выводы по результатам расчетов.
4)
Рассчитать согласованный фильтр для приёма элементарной посылки. Определить условные вероятности ошибок и
среднюю вероятность ошибки при когерентном приёме с

5
использованием согласованного фильтра. Оценить выигрыш в отношении сигнал-шум за счёт согласованной фильтрации.
5) Составить обобщенную структурную схему системы связи для передачи дискретных сообщений
, использующую помехоустойчивое
(канальное) кодирование
Опираясь на результаты п. 4, рассчитать вероятности однократной и двукратной ошибок в пределах одного кодового слова и охарактеризовать свойства кода по обнаружению и исправлению ошибок.
6) Внести в кодовую последовательность на выходе демодулятора двукратную ошибку в пределах одной кодовой комбинации
. Выполнить процедуру декодирования полученной последовательности в соответствии с кодом Хэмминга, а затем произвести декодирование статистического кода
Оценить результат
, сделать выводы.
3 Содержание пояснительной записки (ПЗ)
Курсовая работа выполняется в виде текстового документа
(пояснительной записки). Объем пояснительной записки без расчётной части не должен превышать 30-50 листов формата А4.
Текстовый документ должен включать структурные элементы в
указанной ниже последовательности:
- титульный лист;
- задание (ТЗ);
- реферат;
- содержание;
- обозначения и сокращения (при необходимости);
- введение;
- основную часть;
- заключение;
- список использованных источников;
- приложения (при необходимости).
Основная часть должна состоять из следующих разделов:
1)
Структура системы связи.
2)
Эффективное кодирование.
2.1) Построение эффективного кода.
2.2) Кодирование фамилии, имени и отчества автора.
3)
Информационные характеристики источника и
эффективного кода.

6 3.1) Энтропия и избыточность источника.
3.2) Характеристики кода.
4) Демодуляция методом однократного отсчета.
4.1) Когерентный прием. Определение порога, расчет условных вероятностей ошибок, средней вероятности ошибки
, скорости передачи информации.
4.2) Некогерентный прием. Определение порога, расчет условных вероятностей ошибок, средней вероятности ошибки
, скорости передачи информации.
5) Согласованный фильтр.
5.1) Определение импульсной и комплексной частотной характеристик согласованного фильтра.
5.2) Вычисление условных вероятностей ошибок, средней вероятности ошибки при когерентном приеме с
использованием согласованного фильтра
, скорости передачи информации.
5.3) Определение выигрыша в отношении сигнал-шум и в скорости передачи информации за счет согласованной фильтрации
6) Помехоустойчивое кодирование.
6.1)
Кодирование двоичной информационной последовательности
(7,4)- кодом Хэмминга.
6.2) Декодирование последовательности, содержащей одиночную ошибку.
6.3) Декодирование последовательности, содержащей двукратную ошибку.
6.4) Декодирование эффективного кода, оценка результата.
4 Правила оформления пояснительной записки
1) В пояснительной записке все пункты выполнения курсовой работы должны располагаться в той последовательности, которая приведена выше, иметь ту же нумерацию и те же заголовки
2) Рисунки и таблицы должны быть пронумерованы и озаглавлены
, на графиках должны быть четко обозначены оси координат и указаны масштабы.

7 3) При вычислениях по формулам должна приводиться исходная формула, затем та же формула с подставленными в нее численными данными, и в конце – результат вычисления.
4) Графики временных или спектральных диаграмм, иллюстрирующие преобразования сообщения и сигнала в системе связи на выходе каждого из устройств, необходимо располагать один под другим с соблюдением масштабных соотношений по осям координат
5) В пояснительной записке должны быть введение и заключение
. Во введении формулируются цели курсового проекта с учётом её содержания. В заключении даётся краткий анализ результатов с отражением их особенностей.
6) Список используемых источников должен быть оформлен в строгом соответствии с ГОСТ 7.1-2003 «Система стандартов по информации
, библиотечному и
издательскому делу
Библиографическая запись. Библиографическое описание. Общие требования и правила составления», сведения об электронных источниках
– ГОСТ 7.82-2001 «Система стандартов по информации
, библиотечному и
издательскому делу
Библиографическая запись
Библиографическое описание электронных ресурсов. Общие требования и правила составления».
7) Курсовой проект оформляется на стандартных листах формата
А4. Листы должны быть надежно скреплены, страницы пронумерованы
8) При наличии в печатном тексте небольшого количества опечаток
, описок, ошибок и других неточностей допускается исправлять их подчисткой или закрашиванием белой корректирующей жидкостью с
последующим нанесением правильного текста рукописным образом чернилами (тушью, пастой
) черного цвета. Наклейки и повреждение листов КР (КП) или
ВКР не допускаются.
9) Курсовая работа должна быть оформлен в соответствии со стандартом университета СТУ 04.02.030-2017 «Курсовые работы
(проекты).
Выпускные квалификационные работы
Общие требования к структуре и оформлению».

8
5 Методические указания
5.1 Структурная схема системы связи
Для построения структурной схемы системы связи в данной работе достаточно расположить слева направо прямоугольники, обозначающие основные элементы системы от источника сообщений до их получателя, и соединить их последовательно линиями
. Требование изобразить временные диаграммы сообщений и
сигналов в промежуточных точках структурной схемы направлено на то, чтобы побудить студента осознать сущность преобразований
, которые претерпевают сообщения и сигналы при передаче
. «Изобразить качественно» в данном случае означает, что не нужно соблюдать в точности количественные характеристики и соотношения
, но все принципиальные черты сигналов и сообщений должны быть отражены. При этом следует разместить эти диаграммы друг под другом с соблюдением временного масштаба, для того, чтобы их можно было сопоставить.
5.2 Характеристики источника сообщений
Информационная производительность дискретного источника без памяти с алфавитом А характеризуется средним количеством информации на символ, которое определяется, как энтропия
= − ∑
log
,
(1) где
p(a
k
) – априорная вероятность символа a
k
,
k
= 1, ..., K, K – объем алфавита.
Отдельный символ несет тем больше информации, чем реже он встречается в длинной последовательности, вырабатываемой источником
. При этом его индивидуальное количество информации умножается на соответствующее значение вероятности. В результате получается усредненная характеристика, которая позволяет рассчитывать приближенное количество информации в сообщениях данного источника с тем большей точностью, чем длиннее эти сообщения.

9
Нетрудно убедиться, что максимальную производительность при заданном объеме алфавита имеет источник с равновероятными символами
, т.е. при p(a
k
)=1/K,
∀k.
Для того
, чтобы выразить степень отличия производительности источника от максимально достижимой при данном объеме алфавита
, вводят числовой коэффициент избыточности
k
=(H
max
-H)/H
max
(2)
Избыточность характеризует возможность сжатия сообщений данного источника и повышения скорости передачи информации путем статистического кодирования. Очевидно, избыточность может принимать значения от 0 до 1, и возможность сжатия тем выше
, чем больше величина k.
5.3 Кодирование источника
Экономное
(статистическое, энтропийное) кодирование основано на очень простой идее: чем чаще в сообщениях данного источника встречается некоторый символ, тем короче должна быть соответствующая ему кодовая комбинация. Так, в известном коде
Морзе самой частой букве «е» соответствует самая короткая комбинация
, состоящая из единственной точки, а сравнительно редкая в русскоязычных текстах буква «ш» кодируется четырьмя тире
, разделенными паузами. Некоторые коды, называемые примитивными
, не учитывают статистических свойств источника; таков
, например, известный код Бодо, все комбинации которого имеют равную длину. Такие коды называют равномерными.
Очевидно
, статистический код должен быть неравномерным. В работе предполагается использование двоичного кода. В зависимости от подварианта применяется процедура построения кода
Шеннона–Фано или Хаффмена. Первым шагом обеих процедур является расположение всех символов алфавита источника по вертикали в порядке убывания априорных вероятностей
. Далее символы источника будут называться буквами, чтобы не путать их с символами кода. Дальнейшие шаги направлены на то, чтобы наименее вероятным буквам сопоставить наиболее длинные кодовые комбинации

10
5.3.1 Кодирование источника по методу Шеннона – Фано
1) Все буквы, расположенные по вертикали в порядке убывания априорных вероятностей, делятся на две группы – верхнюю и нижнюю, так, что сумма вероятностей для обеих групп оказывается одинаковой или примерно одинаковой. В качестве первого символа кодового слова каждой букве верхней группы присваивается один кодовый символ (пусть это будет 0), а каждой букве нижней группы – другой кодовый символ (это будет 1).
2) Верхняя и нижняя группы делятся на подгруппы в соответствии с тем же принципом равной вероятности, затем в качестве второго символа кодового слова каждой букве первой подгруппы присваивается кодовый символ 0, а каждой букве второй подгруппы – кодовый символ 1. Это делается независимо для верхней и нижней групп символов алфавита.
3) Каждая подгруппа вновь делится на две части с соблюдением принципа равной (или близкой) вероятности, и к кодовым комбинациям справа дописываются символы 0 или 1 в зависимости от того, в верхней или нижней части находится буква.
Эта процедура продолжается до тех пор, пока алфавит источника не будет исчерпан, т.е. пока в каждой подгруппе не останется по единственной букве.
5.3.2 Кодирование источника по методу Хаффмена
1) В вертикальной записи букв в порядке убывания априорных вероятностей две нижних буквы соединяются скобкой, из них верхней приписывается символ 0, нижней 1 (или наоборот).
Эти символы становятся последними символами кодовых комбинаций
, соответствующих данным буквам.
2) Вычисляется сумма вероятностей, соответствующих этим буквам
3) Все буквы снова записываются в порядке убывания вероятностей
, при этом только что рассмотренные буквы
«склеиваются», т.е. учитываются, как единая буква с суммарной вероятностью
4) Повторяются шаги 1, 2 и 3 до тех пор, пока не останется ни одной буквы, не охваченной скобкой.

11
Скобки после завершения процедуры образуют граф – дерево
, корню которого соответствует вероятность 1, а листьями являются буквы. Чтобы получить кодовую комбинацию для некоторой буквы, нужно пройти по дереву от корня до листа, записывая в строку последовательно все символы 0 или 1, встречающиеся на этом пути. Необходимо обратить внимание на следующее свойство кодов Шеннона–Фано и Хаффмена: ни одна кодовая комбинация не является началом какой-либо другой кодовой комбинации (так называемое префиксное правило). Одной из важнейших характеристик статистического кода является средняя длина кодового слова (кодовой комбинации)
̅ = ∑
,
(3) где µ
i
– длина кодового слова, соответствующего символу а
i
исходного алфавита.
Чем меньше средняя длина, тем выше скорость передачи информации при помощи данного кода, тем сильнее этот код сжимает сообщения.
Очевидно
, что закодированное сообщение можно рассматривать как последовательность кодовых символов (нулей и единиц
), порождаемую неким новым источником, для которого снова можно вычислить энтропию и избыточность. Избыточность этого нового источника (избыточность кода) должна быть меньше, чем избыточность исходного источника
При идеальном кодировании избыточность кода равна нулю. При этом его энтропия должна быть максимальной, а значит, кодовые символы должны быть равновероятны. Если код двоичный, то максимальная информационная
«нагрузка» на символ равна 1 биту.
Т
.о., оценить степень близости построенного кода к оптимальному можно по избыточности кода и по близости друг к другу вероятностей кодовых символов, которые рассчитываются согласно формулам
=
∑
,
=
∑
!
,
(4)

12
где "
1
и "
0
– количество единиц и нулей соответственно в кодовой комбинации, соответствующей символу a
i
исходного алфавита
Скорость передачи информации I’ по каналу без помех определяется только временем передачи одного кодового символа
(равным длительности посылки τ), средней длиной кодового слова
µ
# и средним количеством информации, заключенной в кодовом слове
, равным энтропии H(A) исходного источника
I’
=H(A)/(
μ#τ)
5.4 Когерентный прием сигналов на фоне шума
В
работе рассматривается цифровая демодуляция – восстановление кодовых символов 0 или 1 на основе наблюдения реализации случайного процесса на выходе линии связи.
При этом предполагается
, что наблюдаемый процесс представляет собой сумму сигнала s(t) с шумом, если передается символ 1, и только шум
– если передается 0.
Сигнал в самом простом случае является точно известным, а неопределенность, связанная с передачей информации
, заключается в самом факте его наличия или отсутствия в наблюдаемом процессе.
О
шуме также известно всё, что может быть известно о случайном процессе, а именно: шум считается гауссовским с нулевым средним, известной дисперсией и спектральной плотностью мощности N
0
/2, постоянной в полосе частот
, в которой сосредоточено 99% энергии сигнала.
Самый простой способ приема заключается во взятии мгновенного значения наблюдаемого процесса z(t) в некоторый момент времени t
0
и сравнении его с порогом y
П
На основании этого однократного отсчета y=z(t
0
) и принимается решение о том, есть сигнал в наблюдаемом колебании, или оно представляет собой реализацию шума (иными словами, выполнена гипотеза H
0
или
H
1
).
Очевидно
, точно зная сигнал, следует выбрать в качестве t
0
такой момент
, когда сигнал s(t) принимает максимальное значение. Но шум в это время может принять отрицательное значение, так что сумма сигнала с шумом может оказаться ниже порога. Тогда произойдет ошибка, называемая ошибкой второго рода, или пропуском сигнала.
Аналогично при отсутствии сигнала шумовая