Файл: Заранее очевидно, что однозначно ответить на эти вопросы до сих пор никто не может. Но лишний раз поговорить полезно.pdf

Возникнув в недрах термодинамики при решении некоторой частной задачи, понятие энтропии стало расширяться с удивительной энергией, быстро перешагнуло границы физики и проникло в самые сокровенные области человеческой мысли. Наряду с энтропией Клаузиуса появилась статистическая, информационная, математическая, лингвистическая, интеллектуальная и другие энтропии. Энтропия стала базисным понятием теории информации и стала выступать как мера неопределенности некоторой ситуации.
В каком-то смысле она - мера рассеяния, и в этом смысле она подобна дисперсии. Но если дисперсия является адекватной мерой рассеяния лишь для специальных распределений вероятностей случайных величин (например, нормального гауссова распределения), то энтропия не зависит от типа распределения.
Популярность энтропии связана с её важными свойствами: универсальностью и аддитивностью. Со своей стороны, информация оказалась характеристикой степени зависимости некоторых переменных. Её можно сравнить с корреляцией, но если корреляция характеризует лишьлинейную связь переменных, информация характеризует любую связь. Тип связи может быть каким угодно и неизвестным исследователю.
Информацию можно рассматривать как отрицательную энтропию, Тогда энтропия и информация смотрятся, как понятия одного уровня. Однако, это не так: в отличие от энтропии информация – общенаучное понятие, приближающееся по своему значению к философской категории.
В данной лекции мы попытаемся разобраться в трудной проблеме: если между разными видами информации что-то общее, или это – совершенно разные сущности, по недоразумению названные одним именем. Имеет ли техническая информация какое-либо отношение к термодинамической информации, и, если имеет, то какое? Если связь между термодинамической энтропией Клаузиса-Кельвина и статистической энтропией Больцмана-Планка? Вообще, может ли энтропия быть мерой хаоса?
Заранее очевидно, что однозначно ответить на эти вопросы до сих пор никто не может. Но лишний раз поговорить полезно…
1. ЭТАПЫ ФОРМИРОВАНИЯ ПОНЯТИЯ ЭНТРОПИИ
Можно выделить следующие этапы формирования понятия энтропии:
1865 - Рудольф Юлиус Клаузиус.
В рамках теории тепловых машин введено представление об энтропии, как о термодинамической величине.
Энтропия S задана динамическим уравнением через скорость изменения тепловой энергии Q и абсолютную температуру T.
d
t
S=d
t
Q/T
1872 - Людвиг Больцман.
Энтропия вводится как мера множества W микросостояний термодинамической системы с помощью специальной константы k=1.38x10
-23
дж/гр.К.
H=k log|W|
1902 - Джозойя Виллард Гиббс.
Энтропия вводится через распределение плотности r (x) вероятности состояний по фазовому пространству
W статфизической системы.
H=т
W r
(x) logr (x) dx
1948 - Клод Шеннон.
Вводится мера энтропии дискретного распределения вероятности P
i
на множестве альтернативных состояний и информация, как уменьшение энтропии при получении сообщения.
H= -S
i=1_N
P
i
logP
i
;
I=H
1
-H
2
;
1953 - Александр Яковлевич Хинчин.
Постоянная Больцмана вводится как математическая нормировка основания логарифмов, независимо от термодинамической интерпретации.
S= -kS
i=1_N
P
i
lnP
i
1955 - Артур Роберт Мак.
Комбинаторная интерпретация энтропии, как меры структурированного множества альтернатив:
n=n
1
+...+n
m
S= -kS
i=1_m
(n
i
/n)ln(n
i
/n)
1965 - Андрей Николаевич Колмогоров.
Обобщение понятия энтропии на эргодические случайные процессы u(t) через предельное распределение вероятности, имеющие плотность f(x) .
S= -т
W
f(x) log f(x) dx; f(x)=lim
t
→
Ґ
Prob{u(t)=x}.
http://profbeckman.narod.ru/InformLekc.htm

Введение энтропии, как инварианта динамической системы с оператором J ,имеющим инвариантную вероятностную меру на множестве состояний W, полученного предельным переходом по средним комбинаторным энтропиям следа D(t) начального измеримого бинарного разбиения D на W (скорость генерации информации динамической системой)
H=Sup
D={A;W\A}
lim
t® Ґ
(-1/t) S
vО D(t)
P(v)lnP(v); D(t)=P
i=1_t
J
i
*D;
Произведение берется в алгебре разбиений на W ,как все возможные пересечения элементов сомножителей.
Введение меры сложности символьной последовательности y=(y
1
,y
2
,...), как минимальной удельной (на символ) длины программы P, ее порождающей на универсальной машине Тьюринга.
C(y)= lim
n® Ґ
(1/n)min long P(y
1
,...,y
n
) .
1970 - Анри Реньи.
Введение энтропии как b -момента меры разбиения.
S=(1-b )
-1
ln(S
i=1_N
(n
i
) b );
1999 - Александр Моисеевич Хазен.
Введение понятия энтропии-информации как обобщенного действия в механике с функцией энергии L на фазовом пространстве W. Постоянная Больцмана зависит от уровня процесса. Это - обобщение подхода Р.
Ю. Клаузиуса.
S=kт
[o;t]
L(W(t))dt .
2000 - Александр Владимирович Коганов.
Введение меры сложности C математической модели A, как набора чисел, характеризующих ресурсы R
i
, потребляемые при реализации математической модели на технических средствах. В случае, если ресурсом является память вычислительных средств, получаем варианты формул энтропии А. Р. Мака и сложности А.
Н. Колмогорова.
C=( R
1
,..., R
M
); R=R(A).
Энтропия вводится, как сложность множества состояний модели.
S=( R
1
,..., R
M
); R=R(state A).
Информация измеряется сложностью перестройки модели, как следствия полученного сообщения.
I=( R
1
,..., R
M
); R=R(A|A').
2. ФИЗИЧЕСКАЯ ЭНТРОПИЯ
Существуют три определения физической энтропии
Термодинамическое
Понятие энтропии впервые было введено Клаузиусом как мера необратимого рассеяния энергии. Для обратимых (квазиравновесных) процессов оно было определено так:
,
T
Q
S
Δ
=
Δ
(1) где ΔS — изменение энтропии, ΔQ — изменение теплоты, T — абсолютная термодинамическая температура.
В дифференциальной форме энтропия представляется как:
T
Q
dS
δ
=
(2) и, в отличие от первого, оно применимо не только к изотермическим процессам.
Интегральная форма энтропии для обратимых (квазиравновесных) процессов имеет вид:
∫
=
−
B
A
A
B
T
Q
S
S
,
δ
(3) где
S
A
и
S
B
— энтропия начального (
A) и конечного (B) состояния соответственно.
Несмотря на то, что энтропия выражается через процессы, она является функцией состояния, то есть каждому состоянию соответствует определённое её значение. Однако, как видно из формул, она определена с точностью до константы, и выбор состояния с нулевым значением условен. Основываясь на третьем начале термодинамики, за нулевое значение энтропии принимают таковое у системы с температурой, равной абсолютному нулю.
Для необратимых процессов выполняется неравенство (следующее из неравенства Клаузиуса):
∫
≥
−
B
A
A
B
T
Q
S
S
,
δ
(4) из которого следует закон неубывания энтропии. http://profbeckman.narod.ru/InformLekc.htm

Статистическое
Статистическая механика связывает энтропию с вероятностью осуществления макроскопического состояния системы соотношением Больцмана энтропия-вероятность
S = k
B
lnW
,
(5) где W — вероятность осуществления данного состояния, а k
B
– постоянная Больцмана.
В отличие от термодинамики статистическая механика рассматривает специальный класс процессов
- флуктуации, при которых система переходит из более вероятных состояний в менее вероятные и вследствие этого её энтропия уменьшается. Наличие флуктуаций показывает, что закон возрастания
энтропии выполняется только статистически: в среднем для большого промежутка времени.
Энергетическое
Энергетическое определение энтропии выводится на основе баланса энергии, выраженного в лоренц- инвариантной форме с учётом полной энергии вещества и полей. Формула для энтропии имеет вид:
(
)
,
0
const
T
dV
P
L
u
r
S
+
−
+
∇
−
=
∫
(6) где u плотность энергии поля, связанной с системой, в том числе за пределами тела,
∫
=
ρ
ρ
d
p
L
- функция, зависящая от давления p и плотности вещества ρ, r - радиус-вектор элемента объёма, P
0
- давление в покоящейся системе отсчёта, V - объём системы, T - температура как функция местоположения элемента объёма.
Энтропия характеризует структуру системы с точки зрения распределения энергии в объёме внутри и вокруг системы, отражая меру связи и взаимодействия частиц системы. Энергия, связанная с энтропией, обеспечивает целостность системы. В случае достаточно длительного выполнения системой механической работы, работы по созданию градиентов поля, изменению потоков вещества в связи с количеством вещества и его химическим потенциалом, при условии недостаточного притока энергии извне, система может разрушиться из-за недостаточности своей структурной энергии, переходя в состояние с новым положением равновесия. В отличие от формулы Больцмана, энергетическое определение энтропии непосредственно учитывает как механические напряжения и температурные градиенты, так и распределение энергии поля. Если в статистическом определении энтропия системы полагается всегда положительной, то при наличии полей с достаточно большой отрицательной энергией энтропия может стать отрицательной. Типичным примером является гравитационно связанное тело, гравитационная энергия и энтропия которого отрицательны.
В силу второго начала термодинамики, энтропия S
i
замкнутой системы не может уменьшаться (закон неубывания энтропии). Математически это можно записать так: dS
≥0, индекс i обозначает так называемую внутреннюю энтропию, соответствующую замкнутой системе. В открытой системе возможны потоки тепла как из системы, так и внутрь неё. В случае наличия потока тепла в систему приходит количество тепла δQ
1
при температуре T
1
и уходит количество тепла δQ
2
при температуре T
2
. Приращение энтропии, связанное с данными тепловыми потоками, равно:
2 2
1 1
0
T
Q
T
Q
dS
δ
δ
−
=
(7)
В стационарных системах обычно δQ
1
=δQ
2
, T
1
>T
2
, так что dS
o
<0. Поскольку здесь изменение энтропии отрицательно, то часто употребляют выражение «приток негэнтропии», вместо оттока энтропии из системы. Негэнтропия определяется таким образом как обратная величина энтропии.
Суммарное изменение энтропии открытой системы будет равно:
dS
= dS
i
+ dS
o
Если всё время dS>0, то рост внутренней энтропии не компенсируется притоком внешней негэнтропии, система движется к ближайшему состоянию равновесия, в котором осуществляется возможный для этого состояния максимальный хаос. Если dS=0, то мы имеем стационарный процесс с неизменной общей энтропией. В этом случае в системе осуществляется некоторая внутренняя работа с генерацией внутренней энтропии, которая преобразует, например, температуру T
1
внешнего потока тепла в температуру T
2
уходящего из системы потока тепла. В случае, когда dS
≤0 возникают условия для развития, прогрессивной усложняющейся эволюции, роста порядка и новых структур, жизни живых организмов.
Можно показать, что приток теплоты в систему за время dt определяется выражением:
(
)
∫
+
−
=
,
dV
S
S
div
dt
Q
p
g
δ
(8) http://profbeckman.narod.ru/InformLekc.htm

здесь S
g
- вектор плотности потока гравитационной энергии, S
p
- вектор плотности потока электромагнитной энергии.
Поскольку dS=
δ
Q/T, то производство суммарной энтропии можно выразить так:
∫
∫
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
+
−
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
+
−
=
,
0 0
0 0
dV
T
divS
T
divS
dV
T
divS
T
divS
dt
dS
p
p
g
g
pi
pi
gi
gi
(9) где первый интеграл относится к производству внутренней энтропии, а второй интеграл описывает скорость изменения внешней энтропии. Индекс i относится к потокам энергии и температурам элементов объёма внутри системы, обменивающимся между собой энергией с разными температурами. Индексом o обозначены процессы передачи энергии между элементами объёма системы и внешними относительно системы источниками энергии. При этом температуры входящего в систему и исходящего излучений как правило отличаются друг от друга, что следует учитывать при интегрировании в формуле для генерации энтропии.
В открытой системе за счёт притока негэнтропии извне система сдвинута от ближайшего состояния равновесия, к которому она может вернуться при изменении условий. Например, при быстром осуществлении адиабатической изоляции будет dS
0
/dt=0 и происходит рост внутренней энтропии S
i
системы в краткосрочном процессе перехода к равновесию во внутренних процессах.
Другой пример роста энтропии имеет место, когда энтропия системы изменяется за счёт поступления теплоты извне при нагревании. В этом случае система всё более удаляется от прежнего состояния равновесия. Указанные процессы могут быть описаны формулой Больцмана для статистического определения энтропии, когда рост энтропии сопровождается увеличением термодинамической вероятности макроскопического состояния системы. Однако при наличии значительной энергии полей в формулу
Больцмана следует вводить поправки для энтропии полей либо использовать энергетическое определение энтропии.
Понятие энтропии тесно связано с другим фундаментальным понятием – энергией. Энергия – общая мера различных форм движения и взаимодействия сущностей. Энергию любой материальной сущности можно условно разделить на две составляющих: свободную и связанную. Свободная энергия – это та часть всей энергии, которая способна к совершению работы. Связанная энергия к совершению работы непригодна.
При преобразованиях энергии из одного вида в другой её общее количество, в соответствии с первым началом, сохраняется постоянным, но изменяется её качество, характеризуемое соотношением между свободной и связанной энергиями. Второе начало термодинамики утверждает, что в закрытых системах процессы преобразования энергии идут в сторону роста связанной энергии, а следовательно, и энтропии.
При этом свободная составляющая энергии уменьшается. Можно сказать, что свободная энергия находится в конфликте с энтропией: чем меньше одна, тем больше другая. В связи с этим свободную энергию часто называют отрицательной энтропией, или негэнтропией, хотя это не совсем корректно, поскольку размерности энтропии и энергии различны.
Напомним основные свойства энтропии.
1. В закрытых системах энтропия всегда неотвратимо растёт. Оно выражает суть второго начала термодинамики.
2. Рост энтропии означает ликвидацию различий. Различие – это то, что обеспечивает целенаправленное существование любой сущности. Цель этого существования – уменьшение различий. В термодинамическом понимании системный кризис любой системы означает значительный рост энтропии этой организации, её деградацию.
3. Чем больше свободы, тем быстрее растёт энтропия.Скорость роста энтропии – скорость появления разнообразных способов организации сущностей, а свобода способствует этому появлению, ускоряет рост числа способов организации. Поэтому чем больше свободы, тем быстрее низкоэнтропийные сущности превращаются в высокоэнтропийные.
Энтропия неотвратимо растёт только в закрытых системах, не взаимодействующих с другими системами и внешней средой. Но в открытых системах энтропия может вести себя по-разному: расти, быть постоянной и даже уменьшаться. Причина различного поведения энтропии объясняется тем, что, в отличие от закрытых систем, где есть только собственная, всегда растущая энтропия, в открытых системах существуют собственная энтропия, которая, как и в закрытых системах, всегда растёт; энтропия, поступающая в открытую систему из внешней среды (импортируемая энтропия); и энтропия, удаляемая из открытой системы во внешнюю среду (экспортируемая энтропия). Кроме того, в общем случае нужно учесть свободную энергию (негэнтропию), компенсирующую рост собственной энтропии и по своему http://profbeckman.narod.ru/InformLekc.htm

воздействию на систему эквивалентную экспорту энтропии. Поведение результирующей энтропии зависит от скорости изменения её составляющих. Поэтому результирующая энтропия может вести себя как угодно: расти, уменьшаться или быть постоянной. Если энтропия постоянна, то говорят, что система находится в стационарном режиме.
Информация это то, что устраняет неопределенность выбора.
Клод Шеннон
3. ИНФОРМАЦИОННАЯ ЭНТРОПИЯ
Понятие информационной энтропии определено Шенноном для случая дискретных данных, и похоже на понятие термодинамической энтропии. Это - величина, обозначающая количество информации, содержащееся в данном сообщении (или последовательности сигналов).
По Шеннону информация снятая неопределенность. Точнее получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределённости – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности даёт возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.
Информационная энтропия - мера хаотичности информации или мера внутренней неупорядоченности информационной системы. Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении.
Информационная энтропи́я - мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Информационная энтропия - неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других.
Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка) встречаются очень редко, то неопределённость ещё более уменьшается.
Понятие информационной энтропии определено Шенноном для случая дискретных данных и весьма похоже на понятие термодинамической энтропии. Это величина, обозначающая количество информации, содержащееся в данном сообщении (или последовательности сигналов).
Сведения об информационной энтропии необходимы для повышения надёжности передачи сигналов.
Именно на неё ориентируются при задании избыточной информации, передаваемой по линии связи.
Избыточтость - термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.).
Чем меньше вероятность какого-либо события, тем большую неопределенность снимает сообщение о его появлении и, следовательно, тем большую информацию оно несёт.
Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.
Впервые понятия энтропия и информация связал Шеннон в 1948. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для получателя.
Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. Если сигнал на выходе канала связи является точной копией сигнала на входе то это означает отсутствие энтропии. Отсутствие шума означает максимум информации.
Взаимосвязь энтропии и информации нашло отражение в формуле:
H + I = 1, где Н – энтропия, I – информация. Этот вывод количественно был обоснован Бриллюэном.
В общем виде закон сохранения суммы энтропии информации для случая дискретной переменной записывают в виде равенства:
I[X]+H[X]=const. (10) http://profbeckman.narod.ru/InformLekc.htm