ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 11.01.2024
Просмотров: 317
Скачиваний: 5
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
12
1.4 Контрольные вопросы
1 Дать определение понятия «информация», «информационные процессы».
Назвать и дать определение видов информационных процессов.
2 Дать определение события с точки зрения теории информации. Какие со- бытия называются противоположными, достоверными, невозможными?
3 Дать определение полной группы событий. Какие события называются элементарными?
4 Дать определение вероятности, условной вероятности. Сформулировать теорему умножения вероятностей.
5 Пояснить смысл теоремы сложения вероятностей для несовместных со- бытий, для совместимых событий, пояснить следствия теоремы.
6 Привести теорему о полной вероятности. Пояснить применение данной теоремы в задачах.
7 Привести теорему умножения вероятностей. Пояснить формулу Байеса.
8 Что такое случайные дискретными величины, случайные непрерывные величины?
9 Дать определение понятия «закон распределения случайной величины»?
Привести способы задания закона распределения.
10 Привести основные законы распределения.
11 Пояснить понятие «функция распределения случайной величины». На- зовите свойства функции распределения случайной величины.
12 Что такое математическое ожидание? Назовите свойства математическо- го ожидания.
13 Дать определение информационной системы. Назвать основные классы информационных систем.
13
2 Лабораторная работа № 2. Количественная оценка
информации
2.1 Цель работы
− Освоение навыков определения количества информации;
− Определение энтропии непрерывных сообщений.
2.2 Теоретические сведения
Важной задачей теории информации является количественная оценка пере- даваемых сообщений, которая называется количеством информации. Количество информации не отображает качественное содержание сообщения, а определяет меру его неопределенности.
Если алфавит некоторого источника сообщений состоит из m знаков, каж- дый из которых может служить элементом сообщения, то количество N возмож- ных сообщений длины n равно числу перестановок с неограниченными повторе- ниями:
N = m n
(2.1)
В том случае, если все N сообщений от источника будут равновероятными, получение определенного сообщения равносильно для него случайному выбору одного из N сообщений с вероятностью Р = 1/N.
Чем больше N, тем большая степень неопределенности характеризует этот выбор и тем более информативным можно считать сообщение.
Поэтому число N может служить мерой информации. С точки зрения тео- рии информации, мера информации должна быть пропорциональна длине сооб- щения. В качестве меры неопределенности выбора состояния источника с равно-
вероятными состояниями принимают логарифм числа состояний:
I = log
2
N = log
2
m n
= n log
2
m
(2.2)
Эта логарифмическая функция характеризует количество информации.
14
Количество информации, приходящееся на один элемент сообщения (знак, букву), называется энтропией:
Вычислительные системы основаны на элементах, имеющих два устойчи- вых состояния «0» и «1», поэтому выбирают основание логарифма равным двум.
При этом единицей измерения количества информации, приходящейся на один элемент сообщения, является двоичная единица - бит. Двоичная единица (бит) является неопределенностью выбора из двух равновероятных событий.
Так как из log
2
m = 1 следует m = 2, то ясно, что 1 бит - это количество ин- формации, которым характеризуется один двоичный элемент при равновероятных состояниях 0 и 1.
Представленная оценка количества информации базируется на предположе- нии о том, что все знаки алфавита сообщения равновероятны. Для общего случая каждый из знаков появляется в сообщении с различной вероятностью. На основа- нии статистического анализа известно, что в сообщении длины n знак xi появля- ется ni раз, т.е. вероятность появления знака:
Все знаки алфавита составляют полную систему случайных событий, поэтому:
Формулы Шеннона для количества информации и энтропии:
Свойства энтропии.
1) Энтропия Н - величина вещественная, неотрицательная и ограниченная, т.е. Н ≥ 0.
15 2) Энтропия равна нулю, если вероятность одного из элементов множества равно единице.
3)
Энтропия максимальна, если все знаки алфавита равновероятны, т.е.
Нmax = log m. (2.7)
Избыточностью называется где - это случайная величина, N- число сообщений.
Пример1. Вычислить количество информации, содержащееся в телевизи- онном сигнале, соответствующем одному кадру развертки. В кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом в 1 В.
Решение. В рассматриваемом случае длина сообщения, соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600.
Количество элементов сообщения (знаков) в одной строке равно числу зна- чений, которое может принять амплитуда импульсов в строке m = 8.
Количество информации в одной строке
I = n log 8, а количество информации в кадре
Iк =625*I = 625*600*log 8= 1,125*10 6
бит.
Пример 2. Даны 27монет равного достоинства, среди которых есть одна фальшивая с меньшим весом. Вычислить сколько раз надо произвести взвешива- ние на равноплечих весах, чтобы найти фальшивую монету.
Решение. Так как монеты внешне одинаковы, они представляют собой ис- точник с равновероятными состояниями, а общая неопределенность ансамбля, ха- рактеризующая его энтропию
16
H1 = log
2 27.
Одно взвешивание способно прояснить неопределенность ансамбля насчи- тывающего три возможных исхода (левая чаша весов легче, правая чаша весов легче, весы находятся в равновесии). Все исходы являются равновероятными
(нельзя заранее отдать предпочтение одному из них), поэтому результат одного взвешивания представляет источник с равновероятными состояниями, а его эн- тропия
H2 = log
2 3 бит.
Так как энтропия отвечает требованию аддитивности и при этом
H1 = 3*H2 = 3* log
2 3, то для определения фальшивой монеты достаточно произвести три взвешивания.
Алгоритм определения фальшивой монеты следующий. При первом взвешивании на каждую чашку весов кладется по девять монет. Фальшивая монета будет либо среди тех девяти монет, которые оказались легче, либо среди тех, которые не взвешивались, если имело место равновесие. Аналогично, после второго взвеши- вания число монет, среди которых находится фальшивая монета, сократится до трех. Последнее, третье, взвешивание дает возможность точно указать фальши- вую монету.
2.3 Задание
Задача 1. Известно, что одно из k возможных сообщений, передаваемых равномерным двоичнымкодом, содержит 3 бита информации. Определить чему равно k.
Задача 2. Сообщения передаются в восьмеричном алфавите m = 8, по 4 символа в каждом сообщении. Всего передано 10 сообщений. Найти количество информации в 10 сообщениях.
Задача 3. Символы алфавита обладают двумя качественными признаками. а) Какое количество сообщений можно получить, комбинируя по 3, 4, 5 и 6 эле-
17 ментов в сообщении? б) Найти количество информации, приходящееся на один элемент указанных сообщений.
Задача 4. Некий алфавит состоит из трех буквX, Y, Z.
Задание: а) составить максимальное количество сообщений, комбинируя по три буквы; б) какое количество информации приходится на одно такое сообще- ние; в) определить количество информации на символ первичного алфавита.
Задача 5. Устройство генерируетчетыре частоты f1, f2, f3, f4. В шифраторе частоты комбинируются по три частоты в кодовой комбинации. а) Определить максимальное количество комбинаций, составленных их этих частот? б) Опреде- лить количество информации на одну кодовую посылку?
Задача 6. Дать описаниевсех возможныхспособов определения располо- жения шахматных фигур на доске. Определить количество информации для каж- дого способа.
Задача 7. Какое количество информации приходится на одну букву алфави- та, состоящего из 16, 25, 32 букв?
Задача 8. Алфавит состоит из букв А, В, С, D. Заданы вероятности встре- чаемости букв, они равны соответственно РА=РВ=0,25; РС=0,34; PD= 0,16. Най- ти количество информации, приходящееся на один символ сообщения, состав- ленного из такого алфавита.
Задача 9. Задан алфавит,количество символов которого равно 5. Найти ко- личество информации, приходящееся на один символ сообщения, составленного из этого алфавита при условии: а) символы алфавита равновероятны; б) символы алфавита встречаются с вероятностями Р1=0,8; Р2=0,15; Р3=
0,03; Р4=0,015; Р5=0,005.
Определить недогрузку символов во втором случае?
Задача 10. Определить количество информации в каждом сообщении (ал- фавит русский). а) Ра, ра, ра, ра, ра, ра, ра. б) Соблюдай правила техники безо- пасности! Не стой под краном! в) Черемуха душистая весною расцвела и ветки золотистые, что кудри завила.
18
Задача 11. Чему равна вероятность появления комбинации 10110 при пере- даче пятизначных двоичных кодов? Чему равно среднее количество информации, приходящейся на одну комбинацию? (Р=1/32=0, 0312; I=5 бит).
Задача 12. Сообщения составлены из равновероятного алфавита, содержа- щего m=128 качественных признаков. Чему равно количество символов в приня- том сообщении, если известно, что оно содержит 42 бита информации? Чему рав- на энтропия этого сообщения? (n=6; Н=7 бит/символ)
2.4 Контрольные вопросы
1 Дать определение понятия «количество информации», привести форму- лу и пояснить все составляющие этой формулы.
2 В чем отличие формулы количества информации для равновероятных событий и разновероятных? Пояснить на примере, привести формулы.
3 Дать определение энтропии. Записать и пояснить формулу Шеннона.
4 Перечислить и доказать основные свойства энтропии.
5 Записать и пояснить формулу Хартли.
6 Что является единицей измерения количества информации, энтропии?
Назвать и пояснить все единицы измерения количества информации.
7 Приведите примеры, в которых энтропия сообщения равна нулю, при- нимает максимальное значение?
8 Дать определение и пояснить правило сложения энтропий для независи- мых источников?
9 Пояснить как определяется количество информации непрерывных со- общений.
10 Записать и пояснить формулу избыточности кода.
19
3 Лабораторная работа № 3. Условная энтропия и энтропия
объединения
3.1 Цель работы
− Вычисление условной энтропии;
− Вычисление энтропии объединения.
3.2 Теоретические сведения
Условная энтропия в теории информации применяется для определения взаимозависимости между символами кодируемого алфавита. Это необходимо с целью определения потерь информации при передаче данных по каналам связи.
Для того, чтобы определить условную энтропию используются условные вероятности.
Пусть при передаче n сообщений символ А появился m раз, символ В поя- вился l раз, а символ А совместно с символом В появился k раз, то вероятность появления символа А будет Р(А) = m/n, вероятность появления символа В будет
Р(В) = l/n, вероятность совместного появления символов А и В будет Р(АВ) = k/n.
Условная вероятность появления символа А относительно В и наоборот будет
Р(А/В) = Р(АВ)/Р(В) = k/l,
Р(B/A) = Р(АВ)/Р(A) = k/m.(3.1)
Вероятность совместного появления символов А и В
Р(АВ) = Р(В)*Р(А/В) = Р(А)*Р(В/А). (3.2)
Условная энтропия символов А и В определяется выражением
Индексы i и j выбраны для характеристики произвольного состояния источ- ника сообщений А и адресата В.