Файл: Лабораторная работа 10 Решение задач по основам количественной теории информации Фамилия Имя Отчество.docx
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 25.10.2023
Просмотров: 199
Скачиваний: 3
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
МИНИСТЕРСТВО ЦИФРОВОГО РАЗВИТИЯ, СВЯЗИ И МАССОВЫХ КОММУНИКАЦИЙ РОССИЙСКОЙ ФЕДЕРАЦИИФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕУЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ«САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТЕЛЕКОММУНИКАЦИЙ ИМ. ПРОФ. М.А. БОНЧ-БРУЕВИЧА»(СПбГУТ)ИНСТИТУТ НЕПРЕРЫВНОГО ОБРАЗОВАНИЯ Дисциплина: Теория информации, знания, данныеЛАБОРАТОРНАЯ РАБОТА 10«Решение задач по основам количественнойтеории информации»Фамилия:Имя:ОтчествоГруппа №: ИБ-16с № Зач: Проверил:______________Санкт-Петербург2023 Таблица 1
Задача 1Источник сообщений выдает символы из алфавита A = {ai}, i = 1, …, 4 с вероятностями (см. таблицу 1) p1, p2, p3, p4. Найти энтропию и избыточность источника сообщений.Результаты выполнения работыбит По определению избыточности Задача 2 Рассмотрим следующий процесс: мы замеряем некоторую величину ξ, которая является количеством фотонов, которые регистрируются фоточувствительной пластиной. Пусть источник света в единицу времени генерирует N фотонов. Каждый фотон с вероятностью
p1 может рассеяться на частицах среды, находящейся между источником и пластиной и не достичь фоточувствительной пластины. С вероятностью p2 фотон, достигший фоточувствительной пластины, может быть зарегистрирован пластиной. Какое количество информации содержится в сообщении, что зарегистрировано M фотонов? Результаты выполнения работыС помощью формулы Бернулли найдем вероятность того, что за едини-цу времени будет зарегистрировано 8 фотонов из 256:С помощью следующей формулы найдем количество информации иполучим ответ:I = -log20.000771= 9,60(бит) занимает сообщение о том, что зарегистрировано 8 фотонов из 256.Задача 3 Первичный алфавит состоит из трех знаков с вероятностями p1, p2,p. При этом p1 и p2 заданы в табл.1 и p1+p2+p=1. Для передачи по каналу без помех используется равномерный двоичный код. Средняя длительность передачи одного элемента сообщения в канале τ=10-6 с. Определить пропускную способность канала и скорость передачи информации. Можно ли приблизить скорость передачи к пропускной способности данной системы? Результаты выполнения работыНайдем энтропию источника:H = −0.3 · log2 0.3 − 0.3 · log2 0.3 − 0.4 · log2 0.4 ≈ 1.57 (бит)Так как код равномерный, получаемНайдем скорость передачи информации:J = KV · H = 10000002 · 1.57 = 78000 (бит/с)Таким образом, реальная скорость передачи информации меньше пропускной способности. Это происходит из-за того, что каждый символ первичного алфавита, занимая два разряда, несет меньше двух бит информации. Если приблизить длину кода К к значению реальной энтропии, можно увеличить скорость передачи информации.Задача 4 Сколько информационных и проверочных символов содержится в двоичном коде, исправляющем ровно t ошибок при общем числе разрешенных кодовых комбинаций
| Последняя цифра шифра | 1 |
| p1 | 0,3 |
| p2 | 0,3 |
| p3 | 0,3 |
| p4 | 0,1 |
| M | 6 |
| N | 64 |
| t | 1 |
p1 может рассеяться на частицах среды, находящейся между источником и пластиной и не достичь фоточувствительной пластины. С вероятностью p2 фотон, достигший фоточувствительной пластины, может быть зарегистрирован пластиной. Какое количество информации содержится в сообщении, что зарегистрировано M фотонов? Результаты выполнения работыС помощью формулы Бернулли найдем вероятность того, что за едини-цу времени будет зарегистрировано 8 фотонов из 256:С помощью следующей формулы найдем количество информации иполучим ответ:I = -log20.000771= 9,60(бит) занимает сообщение о том, что зарегистрировано 8 фотонов из 256.Задача 3 Первичный алфавит состоит из трех знаков с вероятностями p1, p2,p. При этом p1 и p2 заданы в табл.1 и p1+p2+p=1. Для передачи по каналу без помех используется равномерный двоичный код. Средняя длительность передачи одного элемента сообщения в канале τ=10-6 с. Определить пропускную способность канала и скорость передачи информации. Можно ли приблизить скорость передачи к пропускной способности данной системы? Результаты выполнения работыНайдем энтропию источника:H = −0.3 · log2 0.3 − 0.3 · log2 0.3 − 0.4 · log2 0.4 ≈ 1.57 (бит)Так как код равномерный, получаемНайдем скорость передачи информации:J = KV · H = 10000002 · 1.57 = 78000 (бит/с)Таким образом, реальная скорость передачи информации меньше пропускной способности. Это происходит из-за того, что каждый символ первичного алфавита, занимая два разряда, несет меньше двух бит информации. Если приблизить длину кода К к значению реальной энтропии, можно увеличить скорость передачи информации.Задача 4 Сколько информационных и проверочных символов содержится в двоичном коде, исправляющем ровно t ошибок при общем числе разрешенных кодовых комбинаций
, равном N (см. таблицу 1).
Результаты выполнения работы
В двоичном коде содержится 58 информационных, 5 проверочных символов.
Выводы по работе
В ходе работы были решены четыре задачи на темы количественной меры информации, энтропии, основ теории передачи информации и помехоустойчивого кодирования сообщений. В процессе решения задач использовались формулы из теории вероятностей (Бернулли) и формулы для нахождения значения энтропии, избыточности источника сообщения, определения количества информации, пропускной способности канала и скорости передачи информации, а также формулы для работы с корректирующими способностями кода и кодом Хемминга.