Файл: Заранее очевидно, что однозначно ответить на эти вопросы до сих пор никто не может. Но лишний раз поговорить полезно.pdf

Так, в процессе временной эволюции газа Больцмана к равновесному состоянию, сумма информации и энтропии остаётся постоянной:
[
]
|
,
0
const
S
t
p
r
I
=
=
(11)
При этом константа определяется энтропией равновесного состояния. Информация равновесного состояния:
[
]
(
)
0
|
,
=
∞
=
=
∞
=
t
A
t
p
r
I
S
(12)
Для газа Больцмана положительность информации есть естественное свойство системы.
Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причём, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается распределением вероятностей: {1/N, 1/N, … 1/N}. Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.
Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия. Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.
На Рис. 1 показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-
p)). Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны 0,5, нулевое значение энтропии соответствует случаям (p
0
=0, p
1
=1) и
(p
0
=1, p
1
=0).
Рис. 1.
Поведение энтропии для случая двух альтернатив.
Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I
– это количество информации, которое требуется для снятия неопределенности H. По определению Бриллюэна информация есть отрицательная энтропия (негэнтропия).
Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H. При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H
t
+ I
t
= H.
I.
Рис.2 .
Связь между энтропией и количеством информации.
По этой причине, формулы для расчета информационной энтропии
H являются и формулами для расчёта количества информации I, т.е. когда речь идёт о полном снятии неопределенности, H в них может заменяться на
В 1948, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Шеннон предложил вероятностный подход к пониманию коммуникаций и создал истинно математическую теорию энтропии. Его идеи послужили основой разработки двух направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются алгебраические и геометрические инструменты для разработки эффективных кодов.
Известны разные определения энтропии:
1. Поворот, превращение, опасное изменение чего-либо; необратимый процесс рассеивания энергии.
2. Направление, движение к беспорядку, хаосу и смерти.
3. В общей теории систем - естественное состояние закрытой системы, стремящейся исчерпать свою энергию и остановиться.
Как уже упоминалось, под информационной энтропией понимают меру хаотичности информации.
Можно определить энтропию случайной величины, введя предварительно понятия распределения случайной величины X, имеющей конечное число значений: http://profbeckman.narod.ru/InformLekc.htm

( )
n
i
p
p
x
P
i
i
X
,....,
2
,
1
,
0
=
≥
=
∑
=
=
n
i
i
p
1 1 и собственной информации:
I(X)=-logP
X
(X)
(13)
Замечание. Собственная информация - статистическая функция дискретной случайной величины. Она является случайной величиной, которую следует отличать от её среднего значения – информационной энтропии. Собственную информацию можно понимать как «меру неожиданности» события - чем меньше вероятность события, тем больше информации оно содержит.
Тогда энтропия определяется как:
( )
( )
(
)
( )
( )
∑
=
−
=
=
n
i
i
p
i
p
X
I
E
X
H
1
log
(14)
От основания логарифма зависит единица измерения информации и энтропии: бит, нат или хартли.
Информационная энтропия для независимых случайных событий x с n возможными состояниями (от
1 до n) рассчитывается по формуле:
( )
( )
( )
∑
=
−
=
n
i
i
p
i
p
x
H
1 2
log
(15)
Эта величина также называется средней энтропией сообщения. Величина
( )
i
p
1
log
2
называется частной энтропией, характеризующей только i-e состояние.
Энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме). Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.
Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:
- мера должна быть непрерывной; т. е. изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;
- в случае, когда все варианты равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;
- должна быть возможность сделать выбор в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.
Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид:
( )
( )
∑
=
−
n
i
i
p
i
p
K
1 2
log
(16) где K - константа (и в действительности нужна только для выбора единиц измерения).
Измерение энтропии (H=−p
1
log
2
p
1
− … − p
n log
2
(p
n
), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое «количества информации», содержащегося в цифре из источника информации.
Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка - имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д.
Информационная энтропия в каком то смысле связана с термодинамической энтропией. Например, демон Максвелла противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.
В общем случае b-арная энтропия (где b равно 2, 3, …) источника S=(S,P)
c
с исходным алфавитом
S={a
1
,…,a
n
} и дискретным распределением вероятности Р={p
1
,…,p
n
} где p
i
является вероятностью a
i
(p
i
=
p(a
i
)) определяется формулой:
( )
∑
=
−
=
n
i
i
b
i
b
p
p
S
H
1
log
(17) http://profbeckman.narod.ru/InformLekc.htm

Другим способом определения функции энтропии H является доказательство, что H однозначно определена, если H удовлетворяет следующим трём пунктам:
1) H(p
1
, …, p
n
) определена и непрерывна для всех p
1
, …, p
n
, где p
i
[0,1] для всех i = 1, …, n и p
1
+ … + p
n
=
1. (Заметьте, что эта функция зависит только от распределения вероятностей, а не от алфавита.)
2) Для целых положительных n, должно выполняться следующее неравенство:
4 4 3 4
4 2 1
4 3
42 1
1 1
1
,...,
1 1
)
1
,...,
1
(
+
+
+
<
n
n
n
n
H
n
n
H
(18)
3) Для целых положительных b
i
, где b
1
+ … + b
k
= n, должно выполняться равенство:
∑
=
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎝
⎛
+
⎟
⎠
⎞
⎜
⎝
⎛
=
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎝
⎛
k
i
b
i
i
i
k
n
b
b
H
n
b
n
b
n
b
H
n
n
H
1 1
1 1
,...,
1
,...,
1
,...,
1 4
3 42 1
3 2
1
(19)
Энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Например, кидание монеты имеет энтропию −2(0,5log
2 0,5) = 1 бит на одно кидание (при условии его независимости). У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю:
. Так, к примеру, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ, что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании.
∑
∞
=
=
−
1 2
0 1
log
i
Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных.
Количество энтропии не всегда выражается целым числом бит.
Общие свойства энтропии:
1) Неотрицательность: H(X)
≥
0.
2) Ограниченность:
X
X
H
log
)
(
≤
. Равенство, если все элементы из X равновероятны.
3) Если X, Y независимы, то H(XY) = H(X) + H(Y).
4) Энтропия - выпуклая вверх функция распределения вероятностей элементов.
5) Если X, Y имеют одинаковое распределение вероятностей элементов, то H(X) = H(Y).
Остановимся несколько подробнее на математических свойствах энтропии
Свойство 1
Неопределенность физической системы равна нулю: H = H(p
1
, p
2
, …, p
n
) = 0, если одно из чисел p
1
,
p
2
, …, p
n
равно 1, а остальные равны нулю.
Доказательство: -1log1=0
(
)
(
)
0
log lim
1
log lim
1
log lim log lim
0
log
0 2
=
=
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎝
⎛
−
−
=
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎝
⎛
−
=
−
=
−
e
p
p
p
e
p
p
p
p
i
i
i
i
i
i
i
(20)
Свойство 2
Энтропия максимальна, когда все состояния источника равновероятны.
Доказательство:
1 1
=
∑
n
i
p
Ищем локальный экстремум. Для этого рассмотрим функционал
∑
∑
⎟
⎠
⎞
⎜
⎝
⎛
−
+
−
=
=
n
n
i
i
i
i
p
p
p
F
1 1
1
log
λ
, где
λ по Лагранжу, а
- из условия ограничения. Берём первые частные производные по p
i
: logp
1
=
λ-loge;
⎟
⎠
⎞
⎜
⎝
⎛
−
∑
=
n
i
i
p
1 1
logp
2
=
λ-loge http://profbeckman.narod.ru/InformLekc.htm

…………….. logp
n
=
λ-loge
Поскольку правые части всех выражений одинаковые, можно сделать вывод о равновероятных состояниях физической системы, т. е.: p
1
=p
2
=…p
n
,
Тогда:
∑
=
−
=
n
n
n
n
H
1
log
1
log
1
(21)
Получили выражение для максимальной энтропии, соответствующее формуле Хартли.
Свойство 3
Всякое изменение вероятностей p
1
, p
2
, …, p
n
в сторону их выравнивания увеличивает энтропию H(p
1
,
p
2
, …, p
n
).
Доказательство:
∑
−
=
n
i
i
p
p
H
1
log и
∑
=
n
i
p
1 1
Пусть р
2
>p
1
, тогда
2 1
2
p
p
p
−
≤
Δ
, p
1
*+p
2
*+…+P
n
*
→
H*
Нам нужно доказать, что H*-H>0
(
)
p
p
H
p
H
p
p
H
p
p
H
Р
Р
Р
Δ
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛
∂
∂
−
∂
∂
=
Δ
−
∂
∂
+
Δ
∂
∂
=
−
=
Δ
2 1
2 2
1 1
*
e
p
p
H
и
e
p
p
H
log log log log
2 2
1 1
−
−
=
∂
∂
−
−
=
∂
∂
0
,
log
1 2
>
Δ
=
Δ
p
p
p
H
, так как p
2
>p
1
, что и требовалось доказать.
Свойство 4
Математическое ожидание вероятности есть энтропия
(
)
∑
=
−
=
−
n
i
i
i
i
p
p
p
M
1
log log
(22)
Из всех дискретных распределений с фиксированным средним геометрическое распределение является одним из распределений с максимальной информационной энтропией.
Геометри́ческое распределе́ние в теории вероятностей - это распределение дискретной случайной величины равной количеству испытаний случайного эксперимента до наблюдения первого «успеха».
4. СРАВНЕНИЕ ЭНТРОПИЙ
4.1 Термодинамическая и статистическая энтропии
Введение понятия энтропии связано с поиском координаты теплообмена, т.е. физической величины, неизбежно изменяющейся в процессе теплообмена и остающейся неизменной в его отсутствие (подобно тому, как ведет себя объем в процессе совершения работы сжатия). Клаузиус нашел эту координату для частного случая равновесного (обратимого) теплообмена путем разбиения произвольного цикла тепловой машины серией адиабат и изотерм на ряд элементарных обратимых циклов Карно.
Название параметра S, данное ему Р. Клаузиусом (в переводе с греческого энтропия означает
«внутреннее превращение») подчеркивало совершенно иное и необычное для науки того времени свойство энтропии возрастать и в отсутствие теплообмена (вследствие самопроизвольного превращения упорядоченных форм энергии в тепловую). Эта двойственность энтропии как параметра, существующего независимо от необратимости, но возрастающего именно вследствие последней, и породила многочисленные дискуссии о физическом смысле этого параметра. Оглядываясь назад, можно лишь сожалеть, что в связи с крушением теории теплорода как «неуничтожимого флюида» для введенного Р.
Клаузиусом нового параметра не нашлось лучшего термина, более близкого по смыслу к теплороду как аналогу массы воды, падающей в водяных колесах с одного уровня на другой. Эта аналогия тепловых машин с водяными двигателями была подмечена ещё С. Карно (1824). Не изменилась, к сожалению, ситуация и после введения Гельмгольцем (1847) понятия «связанной» (с тепловым движением) энергии ТS,
когда, казалось бы, стало ясным, что энтропия Клаузиуса S - это количественная мера хаотического движения, находящаяся в таком же отношении к связанной энергии ТS, как импульс - к кинетической энергии. http://profbeckman.narod.ru/InformLekc.htm

Некоторые учёные в серьёз полагают, что назови Клаузис энтропию как-то иначе, например, интегралом Клаузиса,
никому бы и в голову бы не пришло сравнивать техническую энтропию с термодинамической.
Физический смысл энтропии Клаузиуса S несложно выяснить, если признать существование тепловой энергии как части внутренней энергии. Эта энергия изменяется как вследствие подвода тепла извне, так и вследствие выделения в системе теплоты диссипации, т.е. превращения в тепловую других
(упорядоченных) форм внутренней энергии системы. Энтропия играет по отношению к внутренней тепловой энергии ту же роль, что и импульс системы - по отношению к кинетической энергии. Иными словами, энтропия S характеризует суммарный импульс частиц системы, утративший свою векторную природу вследствие хаотичности теплового движения. Эту меру количества хаотического движения, складывающуюся из модулей импульсов отдельных частиц системы, следовало бы назвать
термоимпульсом. В таком случае сразу бы стало ясным, что энтропия должна возрастать не только при подводе тепла извне, но и при возникновении её внутренних источников вследствие трения, экзотермических химических реакций, воздействия токами высокой частоты, индукционного нагрева и т.п., т.е. при превращении упорядоченных форм энергии в тепловую.
Поиски физического смысла энтропии и попытки найти альтернативу неизбежному, казалось бы, выводу о «тепловой смерти Вселенной» привели к статистическому толкованию второго начала термодинамики. Полагая, что возрастание энтропии в необратимых процессах отражает стремление природы к более вероятному состоянию, Л. Больцман пришёл к выводу, что зависимость между энтропией
S и термодинамической вероятностью состояния Ω имеет вид:
S = kln |W|, ( 23) где k - константа, названная впоследствии его именем.
Согласно этому выражению, энтропия термодинамических систем пропорциональна логарифму вероятности их состояния. Основным постулатом при этом явилось предположение, что наиболее вероятное распределение частиц (осуществляемое наибольшим числом способов) является одновременно и равновесным. Основанием для этого послужило то обстоятельство, что обе названные величины (энтропия и «термодинамическая» вероятность состояния W) аддитивны и достигают максимума в состоянии равновесия. Поскольку же наибольшему значению W соответствует состояние «молекулярного хаоса», энтропия в концепции Больцмана приобрела смысл меры неупорядоченности состояния системы. Так из интуитивных представлений о «молекулярном хаосе» энтропия в концепции Больцмана приобрела смысл меры неупорядоченности любой системы.
В этой связи уместен вопрос, в какой мере обоснован «принцип Больцмана», предполагающий, что наиболее вероятное распределение частиц газа по скоростям является одновременно и равновесным? В самом деле, если говорить о тепловом равновесии или создавать математическую модель теплового движения, то вполне логично было предположить, что тепловое равновесие можно отождествить с состоянием, характеризующимся максимальным числом перестановок различимых молекул и потому встречающимся наиболее часто. Однако для случаев нетеплового равновесия или для более сложных молекулярных моделей систем со многими степенями свободы наиболее вероятно иное распределение тех же или иных свойств.
Важно, что допущение Больцмана о равновероятности всех микросостояний термодинамической системы взаимодействующих частиц никоим образом не соответствует действительности. При этом, даже если между S и W и существует корреляция, ниоткуда не следует, что энтропия является однозначной функцией только W. К тому же энтропия - отнюдь не единственная величина, самопроизвольно изменяющаяся в одном направлении. Односторонне изменяется и объем системы при расширении газа в пустоту, напряжения в телах при их релаксации, степени полноты самопроизвольных химических реакций, векторы поляризации и намагниченности после изоляции диэлектриков и магнетиков после изоляции их от внешних полей, и т.д. и т.п. Более того, односторонне изменяются в изолированной системе и такие функции состояния, как энергия Гельмгольца F = U - TS и Гиббса G = U + pV - TS, которые полнее отражают изменения их состояния, поскольку внутренняя энергия U заведомо зависит от всех переменных состояния поливариантной системы. Казалось бы, именно эти характеристические функции и следовало бы связывать с вероятностью состояния, а не энтропию как один из их независимых аргументов. Наконец, термодинамическая вероятность во многом зависит от того, какие частицы мы считаем различимыми.
Отсюда вывод: энтропия стала мерой «хаоса» исключительно в силу субъективных причин.
Со статистической трактовкой энтропии связано появление еще одной её разновидности –
«негэнтропии» (negative entropy). Впервые этот термин применил Больцман при статистической трактовке понятия энтропии. По Больцману, процесс передачи отрицательной энтропии от Солнца к Земле означает их перераспределение между ними с уменьшением энтропии Земли и её «упорядочиванием». Отсюда http://profbeckman.narod.ru/InformLekc.htm