Файл: Занятие 1 Основы теории передачи информации.doc

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 18.01.2024

Просмотров: 23

Скачиваний: 2

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

ПРАКТИЧЕСКОЕ ЗАНЯТИЕ № 1

Основы теории передачи информации
Цель занятия: Изучение практических приложений теории информации для сравнительной оценки информационных характеристик дискретных и непрерывных источников сообщений и каналов связи.
Литература:

1.Передача дискретных сообщений: Учебник для вузов/ В.П.Шувалов, Н.В.Захарченко, В.О.Шварцман и др.; Под ред. В.П.Шувалова. - М.: Радио и связь,1990.-464 с.: ил. - стр. 12-29.
Контрольные вопросы:


  1. Что такое информация? Какое сообщение содержит информацию?

  1. Что является мерой количества информации в сообщении?

  1. Какое сообщение содержит 1 двоичную единицу информации?

Как определяется энтропия источника дискретных сообщений

- с независимыми элементами сообщений;

- с зависимыми элементами сообщений?

  1. Когда энтропия источника минимальна, когда максимальна?

  1. Как определяется совместная информация 2-х элементов сообщения и совместная энтропия 2-х источников информации? Когда она максимальна и когда минимальна?

  1. Как определяется взаимная информация 2-х элементов сообщения? Когда она максимальна и когда минимальна?

  1. Что такое избыточность источника? Причины избыточности. Что такое производительность источника?

  1. Что такое пропускная способность канала связи? Ее размерность?

  1. Что утверждает теорема К.Шеннона для каналов связи с помехами?

  1. Чем отличаются изохронные сигналы от анизохронных?

  1. Какой сигнал называется цифровым сигналом данных (ЦСД)?

  1. Перечислите известные вам критерии оптимизации систем ПДС. Каковы их достоинства и недостатки?

  1. При какой плотности распределения вероятностей случайная непрерывная величина имеет максимальную энтропию? Чему равен этот максимум?

  1. Как определяется энтропия и производительность источника непрерывных сообщений с ограниченным спектром?


Задачи:
1.1.Самолет противника с равной вероятностью может находиться в одной из 1024 зон воздушного пространства. Какое количество информации получает оператор радиолокационной станции, когда он фиксирует наличие самолета в одной из них.
1.2.Символы алфавита азбуки Морзе появляются в сообщении со следующими вероятностями:

  • 0,51 для "точки";

  • 0,31 для "тире";

  • 0,12 для промежутка между буквами;

  • 0,06 для промежутка между словами.

Определить среднее количество информации в сообщении из 500 символов данного алфавита, считая, что связь между последовательными символами отсутствует.
1.3.Определить энтропию и избыточность двоичного источника, для которого вероятности выбора “0” и “1” равны 0,8 и 0,2 соответственно.
1.4.Напряжение изменяется в пределах U2 - U1 = 8 B. При равномерном квантовании датчик регистрирует приращение напряжения U = 0,1 B. Вычислить максимальное количество информации в 5 отсчетах.

1.5.Определить энтропию и избыточность источника с зависимыми элементами (буквами), для которого вероятности переходов заданы в табл.1.1. Изобразить на чертеже диаграмму состояний и переходов источника.
Таблица 1.1
1
2
3
4
5
6
7
8
9
10

()
0.3
0.4
0.45
0.1
0.5
0.8
0.6
0.1
0.4
0.3

()
0.2
0.1
0.05
0.3
0.1
0.8
0.4
0.1
0.4
0.7


1.6.Согласно экспериментальным данным безусловные вероятности букв русского алфавита характеризуются следующими величинами (табл. 1.2):
Таблица 1.2

буква
Вероятность
буква
Вероятность
буква
Вероятность
буква
Вероятность

пробел
0.175
р
0.040
я
0.018
х
0.009

о
0.090
в
0.038
ы
0.016
ж
0.007

е
0.072
л
0.035
з
0.016
ю
0.006

а
0.062
к
0.028
ь,ъ
0.014
ш
0.006

и
0.062
м
0.026
б
0.014
ц
0.004

т
0.053
д
0.025
г
0.013
щ
0.003

н
0.053
п
0.023
ч
0.012
э
0.002

с
0.045
у
0.021
й
0.010
ф
0.002



Найти энтропию источника, выдающего текст из этих букв при отсутствии статистических связей между буквами.

Вычислить избыточность источника, обусловленную неравновероятностью выбора букв, а также и их статистической связью (памятью источника), если по экспериментальным данным энтропия такого источника H(A)=1 бит/символ.
1.7.Согласно экспериментальным данным безусловные вероятности букв английского алфавита характеризуются следующими величинами (табл.1.3):
Таблица 1.3

буква
Вероятность
буква
Вероятность
буква
Вероятность

пробел
0.200

h
0.047
w
0.012

e
0.105

d
0.035
g
0.011

t
0.072
l
0.028
b
0.010

o
0.065
c
0.023
v
0.008

a
0.063
f
0.023
k
0.003

n
0.058
u
0.023
x
0.001

i
0.055
m
0.021
j
0.001

r
0.052
p
0.018
q
0.001

s
0.052
y
0.012
z
0.001


Найти энтропию источника, выдающего текст из этих букв при отсутствии статистических связей между буквами.

Вычислить избыточность источника, если по экспериментальным данным энтропия такого источника с учетом 8-буквенных сочетаний H(A) =1,86 бит/символ за счет неравновероятности выбора букв и их статистической связи.

1.8.Согласно экспериментальным данным безусловные вероятности букв немецкого алфавита характеризуются следующими величинами (табл.1.4):

Таблица 1.4

буква
Вероятность
буква
Вероятность
буква
Вероятность

пробел
0.15149

u
0.03188
k
0.00956

e
0.14701
l
0.02931
v
0.00735

n
0.08835
c
0.02673
u”
0.00580

r
0.06858
g
0.02667
p
0.00499

i
0.06377
m
0.02134
a”
0.00491

s
0.05388
o
0.01772
o”
0.00255

t
0.04731
b
0.01597
j
0.00165

d
0.04385
z
0.01423
y
0.00017

h
0.04355
w
0.01420
q
0.00014

a
0.04331
f
0.01360
x
0.00013


Найти энтропию источника, выдающего текст из этих букв при отсутствии статистических связей между буквами.
1.9. Найти количество информации, которое содержится в квантованном телевизионном сигнале, соответствующем одному кадру развертки изображения, если:

  • в кадре 625 строк;

  • сигнал, соответствующий одной строке развертки изображения представляет собой последовательность из 833 случайных по амплитуде импульсов, каждый из которых может с равной вероятностью принимать любое значение в интервале от 0 до 16 ;

  • каждый импульс квантуется по величине с шагом квантования 1;

  • импульсы изображения между собой не коррелированны.

Найти избыточность ТВ сигнала, если фактически кадр изображения с 16 градациями уровней содержит 9,3710 бит информации.
1.10. Плотность распределения значений случайного сигнала имеет вид:
1. , ;

2. , ;

3. , (равномерный закон);

4. , (нормальный закон);

5. , - (закон Симпсона);

6. , (закон Релея);

7. , (закон Коши).

Найти энтропию сигнала.
1.11. На вход приемного устройства воздействует сигнал

,

где - сигнал и - помеха являются независимыми случайными гауссовскими процессами с нулевыми средними значениями и дисперсиями, равными соответственно и .

Определить:

а) Количество информации , которое содержится в принятом значении сигнала о сигнале ;

б) Среднюю взаимную информацию .

Смотрите также файлы