ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 22.02.2019
Просмотров: 1102
Скачиваний: 2
Проведенные исследования дают следующие значения энтропии:
при учете разной вероятности отдельных символов
,
при учете коррелятивных связей между двумя символами
,
при учете коррелятивных связей между тремя символами
.
Таким образом, можно утверждать, что избыточность русского языка
.
Анализ
английского языка с учетом коррелятивных
связей, распространяющихся на восемь
соседних букв, показал, что избыточность
его
.
Если учесть коррелятивные связи,
распространяющиеся на достаточно
большое число букв, то можно, по-видимому,
убедиться что избыточность русского и
других европейских языков более 50.%.
Наличие этой избыточности позволяет
легко исправлять отдельные ошибки или
восстанавливать пропуски букв и даже
слогов без искажения текста.
Вопрос 13.
13. Укажите достоинства и недостатки избыточности сообщений.
Вспомним теперь, что энтропия характеризует количество информации, приходящееся в среднем на одно сообщение.
Энтропия
источника максимальна и равна
,
если символы вырабатываются с равными
вероятностями; если же это не так и
некоторые символы повторяются часто,
а другие редко, то энтропия источника
уменьшается, а при появлении дополнительных
коррелятивных связей между символами
энтропия становится еще меньшей. Это
положение хорошо согласуется с интуитивным
представлением о количестве информации,
вырабатываемой тем или иным источником.
Так, например, если из предшествовавшего
опыта свойства лектора или докладчика
известны настолько хорошо, что слушатели
с высокой степенью достоверности знают,
о чем он будет говорить, то количество
информации, сообщаемой таким лектором,
будет очень малым, несмотря на большое
количество произнесенных слов.
Для того чтобы выяснить, насколько хорошо в источнике сообщений используются разные символы (а источник будет тем лучше, чем больше информации он будет вырабатывать), вводится параметр, называемый избыточностью и равный
.
(1.24)
При
этом
есть максимальная энтропия или наибольшее
количество информации, которое может
приходиться на один символ источника
при данном числе
используемых символов.
Из
(1.24) видно, что при
энтропия источника
,
т.е. источник генерирует максимальное
количество информации на символ. Если
,
то
и, следовательно, информация, вырабатываемая
источником, равна нулю. В общем случае
.
Чем меньше избыточность
,
тем рациональнее работает источник,
тем большее количество информации он
вырабатывает.
Следует,
однако, иметь в виду, что не всегда нужно
стремиться к тому, чтобы
.
Некоторая избыточность бывает полезной
для обеспечения надежности передачи,
регистрации и других преобразований
информации. Известно, например, что
лектора, который не повторяет или не
разъясняет более подробно, на примерах
отдельные положения, слушать и
конспектировать значительно труднее,
чем лектора, который в разумной мере
пользуется этими приемами.
Если не различать буквы «е» и «ё», а также мягкий и твердый знаки, то в русском алфавите всего 31 буква, к ним нужно добавить еще пробел между словами, так что всего получается 32 символа. Если бы все символы были равновероятны, то энтропия такого языка была бы равна
.
В действительности, однако, вероятности различных символов различны; так, например, вероятность буквы «о» равна приблизительно 0,09, а буквы «ф» – 0,002. Кроме того, между символами имеют место значительные коррелятивные связи.
Проведенные исследования дают следующие значения энтропии:
при учете разной вероятности отдельных символов
,
при учете коррелятивных связей между двумя символами
,
при учете коррелятивных связей между тремя символами
.
Таким образом, можно утверждать, что избыточность русского языка
.
Анализ
английского языка с учетом коррелятивных
связей, распространяющихся на восемь
соседних букв, показал, что избыточность
его
.
Если учесть коррелятивные связи,
распространяющиеся на достаточно
большое число букв, то можно, по-видимому,
убедиться что избыточность русского и
других европейских языков более 50.%.
Наличие этой избыточности позволяет
легко исправлять отдельные ошибки или
восстанавливать пропуски букв и даже
слогов без искажения текста.
помехоустойчивые
коды
Это избыточные коды в которых число разрешенных кодовых комбинаций меньше общего числа кодовых комбинаций, возможных для двоичного кода данной разрядности.
Что такое избыточность кода
Код с четным числом единиц образуется из исходного k-элементного кода добавлением еще одного элемента, нуля или единицы, таким образом, чтобы количество единиц в новой кодовой комбинации было четным.Избыточность кода можно оценить выражением: – число избыточных символов в переданной кодовой комбинации.
14. Особенности источников непрерывных сообщений.
Для непрерывных источников характерным является непрерывное изменение во времени или пространстве физического параметра, значение которого измеряется, обрабатывается (например, вычисляется плотность распределения вероятности) или передается на расстояние для получения информации (сведений) о том или ином явлении, факте, процессе и т.п.
При исследовании различных процессов или явлений производят измерение большого количества разнообразных физических величин: температуры, давления, освещенности, перемещений, скорости движения, механического напряжения, электрического напряжения, силы тока и т.п.
Обычно все разнородные физические величины в современных измерительных системах с помощью специальных первичных преобразователей (часто называемых датчиками) переводят из неэлектрической формы в стандартные электрические сигналы, например, в электрическое напряжение, изменяющееся в строго определенном диапазоне: от –1 В до +1 В, от –5 В до +5 В и др. В качестве примера датчика, преобразующего изменение температуры в технологическом процессе в электрическое напряжение, можно привести хорошо известную термопару. Структурная схема такого преобразования показана на рисунке.
Смысл
этого преобразования состоит в установке
некоторого соответствия между величинами
и
.
Подобно источникам дискретных сообщений, для источников непрерывных сообщений можно ввести количественные меры информации.
15. Полная и приведенная энтропия непрерывного источника информации.
Для того чтобы перейти от изучения источников дискретной информации к исследованию источников непрерывной информации, мы можем, как это обычно делается в математике, непрерывную величину, являющуюся переносчиком информации, приближенно представить как дискретную.
Почему это можно сделать. Значения параметров непрерывной величины получают в результате измерения. Все измерительные приборы имеют погрешность измерения и конечную разрешающую способность. Поэтому случайный непрерывный параметр Х может быть определен только с погрешностью ∆х. Вследствие этого можно перейти от непрерывного представления случайной величины к дискретному представлению.
Для
этого диапазон
изменения непрерывной случайной величины
делим на конечное число
малых интервалов
и, перенумеровав их, можно совокупность
всех значений
внутри
-го
интервала представить одним средним
значением
.
Априорная вероятность значения
выражается через функцию плотности
распределения вероятностей
:
.
Пример.
Пусть на выходе датчика (см. рисунок)
формируется напряжение в диапазоне от
–5 В до +5 В (
= 10 В).
Если
это напряжение измеряется стрелочным
вольтметром с ценой деления
.=.0,1.В,
то в результате измерений мы, по сути,
заменяем непрерывную шкалу значений
выходного напряжения датчика дискретной
шкалой с числом интервалов измерений
.=.10.В./.0,1.В.=.100.
В результате одного
измерения (замера) мы получаем некоторое
количество информации, для оценки
которого мы можем воспользоваться
формулой энтропии дискретного источника
информации (1.6), которая в общем случае
с учетом выше изложенных обозначений
примет вид
. (2.1)
Устремляя
,
проделаем широко используемое в
математике преобразование формулы
(2.1) к виду
, (2.2)
где
будем называть полной энтропией источника
информации,
– плотностью распределения вероятностей
непрерывной случайной величины
или, для краткости, плотностью
распределения.
В
формуле (2.2) введен дифференциал
с учетом того, что
.
Однако в технике измерения и преобразования
непрерывных величин значение
(цена деления), каким бы малым ни было,
остается конечным, что учтено в (2.2), где
наряду с дифференциалом
сохранено и обозначение
.
Выражение (2.2) можно преобразовать следующим образом:
Учитывая,
что
[3], получим
, (2.3)
где первое слагаемое по структуре сходно с (1.6)
(1.6
начало)
.
В
данном случае
является мерой количества информации,
приходящейся в среднем на одно достоверное
сообщение о событии
при передаче и преобразовании большого
числа
таких сообщений.
Эту
мера количества информации предложил
К. Шеннон. Она более общая, чем мера
Хартли, и получила название энтропии
конечного ансамбля дискретных событий
.(1.6
конец)
,
что позволило его назвать приведенной
энтропией источника непрерывной
информации
:
. (2.4)
В
технике измерений и преобразований
непрерывных величин цена деления часто
обозначается
.
Поэтому в дальнейшем введем замену
и тогда формулу (2.3) представим как
. (2.5)
Примеры вычисления энтропии непрерывных источников информации:
2.3.1. Вычислить приведенную и полную энтропии источника с равномерным законом распределения непрерывной случайной величины.
Для такого источника
(2.6)
Приведенную энтропию находим по формуле (2.4) с учетом (2.6):
,
откуда
.
По формуле (2.5) находим полную энтропию
. (2.7)
Количественная
мера информации (2.7) согласуется с нашими
интуитивными представлениями. С
уменьшением
,
т.е. с повышением разрешающей способности
измерительных приборов, количество
получаемой в результате измерений
информации будет возрастать. При
,
в при
,
это соответствует случаю, когда измерения
не проводятся.
2.3.2. Вычислить приведенную и полную энтропии источника с нормальным законом распределения непрерывной случайной величины.
Для этого источника примем
, (2.8)
где
– дисперсия источника, которая в данном
примере находится как
. (2.9)
Приведенную энтропию для этого примера находим по формуле (2.4) как
. (2.10)
Вычисление этого интеграла дает
. (2.11)
Полную энтропию находим по формулам (2.5) и (2.11):
.
В
приведенных примерах вычислялись
энтропии известных функций распределения.
Можно решать и задачи обратного характера,
например, найти функцию распределения
,
обеспечивающую максимальную энтропию
источника при некоторых заданных
ограничениях. Если таким ограничением
является диапазон изменения непрерывной
случайной величины источника, то
наибольшее значение энтропии дает
равномерное распределение. Если
ограниченной величиной является
дисперсия процесса при его неограниченном
диапазоне изменения, то наибольшее
значение энтропии достигается при
нормальном распределении.
16. Энтропия источника с равномерным законом распределения.
Примеры вычисления энтропии непрерывных источников информации
Вычислить приведенную и полную энтропии источника с равномерным законом распределения непрерывной случайной величины.
Для такого источника
(2.6)
Приведенную энтропию находим по формуле (2.4) с учетом (2.6):
,
откуда
.
По формуле (2.5) находим полную энтропию
. (2.7)
Количественная
мера информации (2.7) согласуется с нашими
интуитивными представлениями. С
уменьшением
,
т.е. с повышением разрешающей способности
измерительных приборов, количество
получаемой в результате измерений
информации будет возрастать. При
,
в при
,
это соответствует случаю, когда измерения
не проводятся.
2.3.2. Вычислить приведенную и полную энтропии источника с нормальным законом распределения непрерывной случайной величины.
Для этого источника примем
, (2.8)
где
– дисперсия источника, которая в данном
примере находится как
. (2.9)
Приведенную энтропию для этого примера находим по формуле (2.4) как
. (2.10)
Вычисление этого интеграла дает
. (2.11)
Полную энтропию находим по формулам (2.5) и (2.11):
.
В
приведенных примерах вычислялись
энтропии известных функций распределения.
Можно решать и задачи обратного характера,
например, найти функцию распределения
,
обеспечивающую максимальную энтропию
источника при некоторых заданных
ограничениях. Если таким ограничением
является диапазон изменения непрерывной
случайной величины источника, то
наибольшее значение энтропии дает
равномерное распределение. Если
ограниченной величиной является
дисперсия процесса при его неограниченном
диапазоне изменения, то наибольшее
значение энтропии достигается при
нормальном распределении.
17. Энтропия источника с нормальным законом распределения.
Вычислить приведенную и полную энтропии источника с нормальным законом распределения непрерывной случайной величины.
Для этого источника примем
, (2.8)
где
– дисперсия источника, которая в данном
примере находится как
. (2.9)
Приведенную энтропию для этого примера находим по формуле (2.4) как
. (2.10)
Вычисление этого интеграла дает
. (2.11)
Полную энтропию находим по формулам (2.5) и (2.11):
.
В
приведенных примерах вычислялись
энтропии известных функций распределения.
Можно решать и задачи обратного характера,
например, найти функцию распределения
,
обеспечивающую максимальную энтропию
источника при некоторых заданных
ограничениях. Если таким ограничением
является диапазон изменения непрерывной
случайной величины источника, то
наибольшее значение энтропии дает
равномерное распределение. Если
ограниченной величиной является
дисперсия процесса при его неограниченном
диапазоне изменения, то наибольшее
значение энтропии достигается при
нормальном распределении.
18. Количество информации в одном замере непрерывной случайной величины при неполной достоверности результатов измерения.
Количество информации, содержащееся в одном замере непрерывной случайной величины при неполной достоверности результатов измерения
Если бы измерение было абсолютно точным, т.е. не содержало погрешностей, то количество получаемой при этом информации, как уже отмечалось, должно было быть бесконечно большим.
В
действительности, однако, измерение
любой величины может быть выполнено
лишь с некоторой степенью точности.
Наличие погрешностей приводит к тому,
что количество информации, содержащееся
в результате измерений
,
об измеряемой величине
становится конечным. Это позволяет
распространить соотношения, определяющие
для дискретных источников информации,
на непрерывные источники.
Для
перехода от дискретных источников к
непрерывным, как это уже делалось в
разделе 2.2, непрерывные величины
и
в первом приближении заменяем дискретными.
Тогда выражение (1.21) примет вид