Файл: Системный анализ (ЛБ-04).doc

Пример. Пусть X={супруги, дети супругов}, Y={"Иванов Петр Сидорович", "Иванова Ольга Николаевна", "Иванов Олег Петрович", "Иванова Наталья Петровна", "мать", "отец", "сын", "дочь", "родители", "дети"}, отношение f может быть задано (словесно) перечислением связей вида: "Иванов Олег Петрович - супруг Ивановой Ольги Николаевны", "Иванова Наталья Петровна - дочь Ивановой Ольги Николаевны" и т.д.

Пример. Пусть X={арифметические операции}, Y={"-(взятие противоположного числа)", "+(сложение)", "-(вычитание)", "×(умножение)", "/(деление)", " √(извлечение квадратного корня)"}, f определим как установление соответствия "унарная операция".

Таким образом, основная задача науки состоит в построении, исследовании, актуализации или хранении множеств с заданным классом X однотипных задач, Y - классом структур и ресурсов, связываемых с этими задачами, и f - процессами их сопоставления и актуализации с помощью некоторых ресурсов.

Такие задачи мы решаем в ежедневной жизни, но в то же время часто правило f нельзя отыскать или построить явно или конструктивно. В этом случае приходится заменять искомый закон f с помощью подходящих явных или конструктивных представлений f, X, Y и/или Z (см. рис. 5.2) и применять эти представления всякий раз.

Рис. 5.2.  Инвариант всех решаемых проблем науки

Правило задает правило кодирования или интерпретации входного алфавита, правило - правило декодирования или интерпретации выходного алфавита, т.е. входной и выходной коды (правила, функции). При этом справедливы законы:

у=f(х)= (f*( (х))).

Правило f* подбирают так, чтобы, в отличие от f, его можно было бы найти и/или исследовать, применить. Для каждого сообщения х из Х определена триада:

(х,у*,у): х*= (х), y*=f*(x*), y= (y*).

Информация - содержание сообщения, сообщение - форма проявления или актуализации информации. Информация всегда имеет носитель, актуализация информации связана с изменением носителя, ресурсов.

Пример. Сведения о сути товара могут быть изложены в рекламе, передаваемой различными сообщениями (по телевидению, по радио, в газете и т.д.). При этом соответствие этой рекламы действительности может быть независимо от типа сообщений, т.е. имеется третья сторона информации (кроме ее абстрактной сущности, ее представления сообщениями) - соответствие сведений, заложенных в информации, с проявлениями реальной системы.

Вопросы для самоконтроля

1. Что такое информация? Как классифицируется информация? Чем отличается информация от сообщения?

2. Каковы основные эмпирические методы получения информации?

3. Каковы основные теоретические методы получения информации?

Задачи и упражнения

1. Для задачи решения квадратного уравнения указать входную, выходную, внутрисистемную информацию, их взаимосвязи.

2. Построить тактику изучения (исследования) эпидемии гриппа в городе только эмпирическими (теоретическими, смешанными) методами?

3. Эмпирическими (теоретическими, эмпирико-теоретическими) методами получить информацию о погоде (опишите в общих чертах подходы).

Темы для научных исследований и рефератов, интернет-листов

1. Информация - знание, абстракция.

2. Информация - мера порядка, организации, разнообразия в системе.

3. Информация - структурированности и неопределенности в системе.

6. Лекция: Меры информации в системе

В предыдущей лекции было отмечено, что информация может пониматься и интерпретироваться в различных проблемах, предметных областях по-разному. Вследствие этого, имеются различные подходы к определению измерения информации и различные способы введения меры количества информации.

Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы.

Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события).

Мера, как было сказано выше, - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы равна сумме мер).

Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).

Ниже мы не всегда будем, в основном, для большей убедительности и большего содержательного понимания, проводить четкие математические границы между понятиями "количество информации" и "мера количества информации", но строгому читателю необходимо все время задавать достаточно важные вопросы: о количестве информации или о мере информации в конкретной последовательности событий идет речь? о детерминированной или стохастической информации идет речь? какова мера измерения количества информации и насколько она адекватна?

1. Мера Р. Хартли. Пусть имеется N состояний системы S или N опытов с различными, равновозможными, последовательными состояниями системы. Если каждое состояние системы закодировать, например, двоичными кодами определенной длины d, то эту длину необходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N. Наименьшее число, при котором это возможно, называется мерой разнообразия множества состояний системы и задается формулой Р. Хартли: H=klog_аN, где k - коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а - основание системы меры.

Если измерение ведется в экспоненциальной системе, то k=1, H=lnN (нат); если измерение было произведено в двоичной системе, то k=1/ln2, H=log₂N (бит); если измерение было произведено в десятичной системе, то k=1/ln10, H=lgN (дит).

Пример. Чтобы узнать положение точки в системе из двух клеток т.е. получить некоторую информацию, необходимо задать 1 вопрос ("Левая или правая клетка?"). Узнав положение точки, мы увеличиваем суммарную информацию о системе на 1 бит (I=log₂ 2). Для системы из четырех клеток необходимо задать 2 аналогичных вопроса, а информация равна 2 битам (I=log₂4). Если же система имеет n различных состояний, то максимальное количество информации будет определяться по формуле: I=log₂n.

Справедливо утверждение Хартли: если в некотором множестве X={x₁, x₂, ..., x_n} необходимо выделить произвольный элемент x_iX, то для того, чтобы выделить (найти) его, необходимо получить не менее log_an (единиц) информации.

Если N - число возможных равновероятных исходов, то величина klnN представляет собой меру нашего незнания о системе.

По Хартли, для того, чтобы мера информации имела практическую ценность, она должна быть такова, чтобы отражать количество информации пропорционально числу выборов.

Пример. Имеются 192 монеты. Известно, что одна из них - фальшивая, например, более легкая по весу. Определим, сколько взвешиваний нужно произвести, чтобы выявить ее. Если положить на весы равное количество монет, то получим 3 независимые возможности: а) левая чашка ниже; б) правая чашка ниже; в) чашки уравновешены. Таким образом, каждое взвешивание дает количество информации I=log₂3, следовательно, для определения фальшивой монеты нужно сделать не менее k взвешиваний, где наименьшее k удовлетворяет условию log₂3^klog₂192. Отсюда, k5 или, k=4 (или k=5 - если считать за одно взвешивание и последнее, очевидное для определения монеты). Итак, необходимо сделать не менее 5 взвешиваний (достаточно 5).

Пример. ДНК человека можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК или нуклеотид. Определим, сколько информации (в битах) содержит ДНК, если в нем содержится примерно 1,5×10²³ нуклеотидов (есть и другие оценки этого объема, но мы рассмотрим данный вариант). На один нуклеотид приходится log₂(4)=2 (бит) информации. Следовательно, структура ДНК в организме человека позволяет хранить 3×10²³ бит информации. Это вся информация, сюда входит и избыточная. Реально используемой - структурированной в памяти человека информации, - гораздо меньше. В связи с этим, заметим, что человек за среднюю продолжительность жизни использует около 5-6% нейронов (нервных клеток мозга - "ячеек ОЗУ человека"). Генетический код - чрезвычайно сложная и упорядоченная система записи информации. Информация, заложенная в генетическом коде (по учению Дарвина), накапливалась многие тысячелетия. Хромосомные структуры - своеобразный шифровальный код, при клеточном делении создаются копии шифра, каждая хромосома - удваивается, в каждой клетке имеется шифровальный код, при этом каждый человек получает, как правило, свой набор хромосом (код) от матери и от отца. Шифровальный код разворачивает процесс эволюции человека. Вся жизнь, как отмечал Э. Шредингер, "упорядоченное и закономерное поведение материи, основанное ... на существовании упорядоченности, которая поддерживается все время".

Формула Хартли отвлечена от семантических и качественных, индивидуальных свойств рассматриваемой системы (качества информации в проявлениях системы с помощью рассматриваемых N состояний системы). Это основная и положительная сторона формулы. Но имеется основная и отрицательная ее сторона: формула не учитывает различимость и различность рассматриваемых N состояний системы.

Уменьшение (увеличение) Н может свидетельствовать об уменьшении (увеличении) разнообразия состояний N системы. Обратное, как это следует из формулы Хартли (так как основание логарифма больше 1!), - также верно.

2. Мера К. Шеннона. Формула Шеннона дает оценку информации независимо, отвлеченно от ее смысла:

где n - число состояний системы; р_i - вероятность (или относительная частота) перехода системы в i-е состояние, причем сумма всех p_i равна 1.

Если все состояния равновероятны (т.е. р_i=1/n), то I=log₂n.

К. Шенноном доказана теорема о единственности меры количества информации. Для случая равномерного закона распределения плотности вероятности мера Шеннона совпадает с мерой Хартли. Справедливость и достаточная универсальность формул Хартли и Шеннона подтверждается и данными нейропсихологии.

Пример. Время t реакции испытуемого на выбор предмета из имеющихся N предметов линейно зависит от log₂N: t=200+180log₂N (мс). По аналогичному закону изменяется и время передачи информации в живом организме. Один из опытов по определению психофизиологических реакций человека состоял в том, что перед испытуемым большое количество раз зажигалась одна из n лампочек, на которую он должен был указать в ходе эксперимента. Оказалось, что среднее время, необходимое для правильного ответа испытуемого, пропорционально не числу n лампочек, а именно величине I, определяемой по формуле Шеннона, где p_i - вероятность зажечь лампочку номер i

Легко видеть, что в общем случае

Если выбор i-го варианта предопределен заранее (выбора, собственно говоря, нет, p_i=1), то I=0.

Сообщение о наступлении события с меньшей вероятностью несет в себе больше информации, чем сообщение о наступлении события с большей вероятностью. Сообщение о наступлении достоверно наступающего события несет в себе нулевую информацию (и это вполне ясно: событие всё равно произойдет когда-либо).

Пример. Если положение точки в системе известно, в частности, она - в k-ой клетке, т.е. все р_i=0, кроме р_k=1, то тогда I=log₂1=0 и мы здесь новой информации не получаем (как и следовало ожидать).

Пример. Выясним, сколько бит информации несет произвольное двузначное число со всеми значащими цифрами (отвлекаясь при этом от его конкретного числового значения, т.е. каждая из возможных цифр может появиться на данном месте, в данном разряде с одинаковой вероятностью). Так как таких чисел может быть всего 90 (10-99), то информации будет количество I=log₂90 или приблизительно I=6,5. Так как в таких числах значащая первая цифра имеет 9 значений (1-9), а вторая - 10 значений (0-9), то I=log₂90=log₂9+log₂10. Приблизительное значение log₂10 равно 3,32. Итак, сообщение в одну десятичную единицу несет в себе в 3,32 больше информации, чем в одну двоичную единицу (чем log₂2=1), а вторая цифра, например, в числе аа, несет в себе больше информации, чем первая (если цифры а обоих разрядов неизвестны; если же эти цифры а известны, то выбора нет и информация равна нулю).