Файл: Гагин. Системный синтез. Линия жизни.doc

1.2.1.2. Экстремальный принцип и энтропия системы

«Всё, что видим мы, - видимость только одна.

Далеко от поверхности мира до дна.

Полагай несущественным явное в мире,

Ибо тайная сущность вещей не видна».

(Хайям)

Энтропию можно определить, как меру неопределённости, или как меру разнообразия состояний системы. Если система, может находиться в одном из равновероятных состояний, то энтропия H равна:

_{Н = log n}

Пример.Число возможных различных комбинаций положений ферзя на пустой шахматной доске равно 64 (n=64). Энтропия его возможных состояний равна:

_{H = log 64 = 6 бит}

Напомним, из элементарной математики: логарифмом числа N, по основанию а (обозначается log_aN) называется показатель степени, в которую надо возвести число а, чтобы получить число N, т. е., в = log_aN, если а^в = N.

Далее рассматриваем основание а =2.

Бит – единица количества информации в двоичной системе счисления. Соответствует информации, получаемой при осуществлении одного из двух равновероятных состояний.

Далее. Если часть шахматной доски занята фигурами, то разнообразие его (ферзя) возможных позиций и энтропия уменьшаются. Например, ферзь имеет возможность ходить только по одной диагонали доски. Тогда, число его возможных состояний n = 8, а энтропия:

_{H = log 8 = 3 бит}

Если же, ферзю некуда ходить, т. е. число возможных состояний равно 1, то энтропия уменьшается до нуля:

_{Н = log 1 = 0}

Таким образом, можно заключить, что энтропия служит мерой свободы системы: чем больше энтропия, тем больше состояний доступно системе, тем больше у неё степеней свободы.

Рассмотрим случай, когда состояния имеют разные вероятности. В этом случае, энтропия определяется сложнее – как средний логарифм вероятностей, взятый с обратным знаком:

n

Н = - åp_ilogp_i

i=1

где, p_i–вероятность i-го состояния, n - число состояний.

В частном случае, когда вероятности всех состояний одинаковы, они равны, очевидно,

р = 1/n

Тогда:

n

_{H = å 1/n log n = log n}

i=1

Сформулируем важнейший принцип – максимума энтропии:

Энтропия максимальна, именно, при равномерном распределении вероятностей. Всякое отклонение от равномерности приводит к уменьшению энтропии.

Усложним пример. Рассмотрим движение молекулы в пространстве. Если ферзя мы рассматривали в двухмерном пространстве, то молекула находится в трехмерном. Но молекула движется, поэтому к её параметрам добавится ещё три скорости (вернее три импульса - произведение массы на скорость). Таким образом, состояние молекулы описывается 6 координатами. Они образуют фазовое пространство.

На систему наложены ограничения: пространство ограничено стенами сосуда «цилиндр с поршнем», а скорости ограничены запасом энергии молекулы.

Теперь энтропию можно определить как логарифм фазового объёма. Объём может быть разбит на ячейки «подобно шахматной доске» соответствующие различным состояниям. Тогда, энтропия опять-таки сведется к логарифму числа состояний. Выбор размеров ячейки равносилен выбору начала отсчета для энтропии, а начало отсчета - понятие условное. Квантовая механика предлагает и абсолютное начало отсчета: согласно её законам объём фазовой ячейки не может быть меньше некоторой предельной величины, определяемой постоянной Планка.

Из определения энтропии, как логарифма фазового объёма становится понятным, от чего зависит энтропия и как её можно изменить, например, увеличить. Для этого нужно увеличить фазовый объём. Увеличить пространственный объём просто: достаточно выдвинуть поршень. Чтобы увеличить фазовый объём по скоростным координатам, нужно увеличить скорость молекулы. Для этого достаточно передать молекуле дополнительную тепловую энергию. В обоих случаях энтропия возрастает.

Всё определённое для одной молекулы верно и для идеального газа, состоящего из N молекул. Энтропия такого газа будет в N раз больше энтропии одной молекулы.

Использование экстремального принципа в данном случае позволяет находить устойчивое равновесие для очень широкого класса систем: физических, биологических, социальных и пр. Запишем этот принцип - принцип максимума энтропии, в виде:

H (x) = å p (x) log 1/p(x) = max (1)

i p (x_i)

Варьируемыми переменными в данном случае являются вероятности различных состояний p (x_i).

Достигаемый максимум, как, правило, условен, т.к. в системе всегда есть ограничивающие условия, препятствующие бесконечному росту энтропии.

Ограничения могут быть различными. Но наиболее типичными, важными и универсальными являются ограничения на «ресурсы», U (xi) .

U (x)=å p (x_i) U (x) £ const

i

Это является характеристикой степени замкнутости системы. Роль ресурсов играют: энергия, материя, пространство, время, количество операций.

С учётом ограничений, принцип максимума энтропии (для закрытых систем) записывается:

Н(х) = bU(x) = max (2)

p(х_i)

Здесь, b- так называемый множитель Лагранжа. Он играет роль масштабного коэффициента, позволяющего приводить оба составляющих в выражении (2), к единой размерности. Кроме того, он характеризует дефицит ресурсов, т. е. важность второго составляющего в выражении. Например, если запас энергии в системе мал, тоbбудет большим, а это значит, что второе составляющее будет доминировать в поведении – система будет, главным образом, «экономить энергию». Если же запас энергии велик, тоbбудет малым, и в поведении системы будет преобладать стремление к экспансии, к увеличению энтропии.

Живой системе, ничуть не меньше чем физической, свойственно стремление к экспансии, к заполнению как можно большего объёма в пространстве. Помещённая в какое-то определённое состояние, живая система, рано или поздно, покидает его и начинает «диффузировать» в соседние области. Эта диффузия получила название «поисковой активности».

Биологи проводили эксперименты на крысах. Их помещали в комфортабельную клетку, где были созданы все условия для спокойной жизни. Как же вели себя крысы? Вот как описывает опыт В. Ротенберг и В.Аршавский:

«В одной из стенок камеры была дверь, которая вела в необжитое и неисследованное помещение, таившее в себе опасность самой неизведанностью. После относительно короткого освоения комфортабельной камеры, крысы, одна за другой, начинали предпринимать попытки проникнуть в это необследованное помещение. Это было, отнюдь, не праздное, спокойное любопытство, крысы не производили впечатления «бесящихся с жиру». Они осторожно продвигались по тёмному коридору, проявляя все признаки страха, – у них дыбилась шерсть, усиливалось мочеиспускание, учащался пульс. Они эпизодически, в быстром темпе, возвращались назад и, тем не менее, вновь и вновь пускались в своё рискованное и ничем непосредственно не спровоцированное путешествие».

Порою, вызывает удивление, как люди, без видимых на то причин, начинают обострять противоречия в реальной жизни, «портить отношения», идут на конфликты. Психология объясняет каждый конкретный случай, особенностью характеров, стечением обстоятельств и т. д. Но, причины, порой, заложены глубоко, самой Природой. Гармония и согласие с окружением - это уже стагнация, застой. А системе, для развития и эволюции нужна новая информация, новые среды обитания, новые территории.

Такие примеры можно отыскать в действиях любой «живой» системы. Причины, побуждающие отдельные народы и страны резко расширять свои территории, увеличивать среду обитания, действуя агрессивно, до настоящего времени, глубоко не изучены.

Дело, далеко не всегда, в рабах или золоте. Причины спрятаны значительно глубже и заложены в Программе поведения системы. Благодаря чему, возникла огромная Британская империя, в которой никогда не заходило Солнце? Из-за жадности и алчности англичан? Каковы причины немецкой экспансии? Что заставило горстку славян пройти и покорить огромные пространства за Уралом, на Дальнем Востоке, Аляске? Что создавало огромные империи: Российскую, США, КНР, СССР? Возникновение и распад империй – это возникновение и распад социальных систем, до определённой степени замкнутых и определённых уровнем запретов. Всё это требует отдельного исследования. Достигнув определённого уровня развития, человечество будет в состоянии предвидеть и как-то влиять, на соответствующие параметры, во избежание негативных сдвигов в человеческом сообществе.

Ещё довод в пользу принципа максимума энтропии. Лишите живое существо свободы движения, свободы выбора и вы обречёте его на страдания. Экстремальный принцип у живого существа выражен инстинктом свободы. Плен, рабство, тюрьма ведут, если не к смерти, то к тяжёлым мучениям.

1.2.1.3. Экстремальный принцип и информация

«Не то что мните вы, природа:

Не слепок, не бездушный лик;

В ней есть душа, в ней есть свобода,

В ней есть любовь, в ней есть язык».

( Ф. И. Тютчев)

Принцип оптимальности (экстремальности) информации – важнейший принцип динамической теории функционирования систем.

Оптимальность информации означает, что информация должна передаваться и обрабатываться за кратчайшее время, при наименьшем уровне помех, быть наилучшим образом закодирована, и представлена в оптимальной, для восприятия, форме.

Закрепим это математически. Основоположник теории информации Клод Шеннон предложил формулу. Информация, которую содержит событие (предмет, состояние) yо событии (предмете, состоянии)х, равна:

I(x,у) = log p(x/y)/p(x) (3)

где, p(x) – вероятность события xдо наступления событияy(безусловная вероятность); p(x/y) - вероятность событияxпри условии наступления событияy(условная вероятность).

Под событиями хиу, будем понимать стимул и реакцию, вход и выход, значения двух различных переменных, характеризующих состояние системы.

Пример. Сообщение уо событиихявляется абсолютно точным. Тогда, условная вероятность р (х/у) = 1 и:

I(x/y)=log1/[р(х)]

Допустим, поступила информация, что ферзь на доске стоит на поле а4. Если, до поступления этой информации, вероятности пребывания ферзя во всех позициях были одинаковы и равны р(х) = 1/64, то полученная информация равна:

_{I(x,y) = log 1/р(х) = log 64 = 6 бит}

т.е., информация в этом случае равна энтропии системы Н(х). Информация, как и энтропия измеряется в битах, двоичных единицах.

Теперь, допустим, что сообщение было не совсем точным. Например, ферзь стоит, то ли на а3, то ли на а4. Условная вероятность его пребывания в позиции а4, теперь, равна не 1, а р(х/у) =1/2. Полученная информация будет равна:

I(х/y) = log{[р(х/у)]/р(х)} = log (1/2:1/64) = log 32 = 5 бит

т.е. она уменьшилась на 1 бит. Таким образом, чем точнее выражение, тем больше информации.

В дальнейшем, переменную (признак, параметр, множество событий и т. д.), будем обозначать заглавной Х. А конкретное значение переменной - строчнойх, несколько значений - х₁,…, х_п. Двоичные переменные имеют 2 градации - х₀, х₁.