Лк1

ВВЕДЕНИЕ

Возникновение теории информации обычно связывают с появлением фундаментальной работы американского ученого Клода Шеннона «Математическая теория связи» (1948.г.), ставшей библиографической редкостью. Однако в теорию информации вошли результаты, полученные и другими учеными, например Ральфом Хартли, академиками А.Н. Колмогоровым, В.А. Котельниковым и др. Прикладные результаты приводятся в пособии для пояснения основ теории.

В настоящее время получили широкое распространение информационные системы. Под информационной системой будем понимать такую систему, которая реализует и поддерживает информационный процесс. Под информационным процессом будем понимать такой процесс, в котором присутствует хотя бы один из элементов: передача информации, ее прием, хранение, обработка, выдача пользователю [1].

Понятие «информация» является основополагающим для информационных систем. Несмотря на все различия в трактовке понятия «информация», бесспорно то, что проявляется информация всегда в материально-энергетической форме в виде сигналов, являющихся материальными носителями информации.

При оценке систем передачи информации необходимо иметь количественные меры информации, не зависящие от природы источников информации и основанные на статистических характеристиках таких источников. В данном курсе мы будем рассматривать возможные варианты количественной меры информации. Рассмотрим конкретные примеры вычисления количества информации для источников информации применительно к информационным системам.

1. ОСНОВНЫЕ ПОНЯТИЯ. КОЛИЧЕСТВЕННАЯ МЕРА ИНФОРМАЦИИ

1. Понятие информации

Каждому из нас знаком и понятен обмен информацией друг с другом, доступны информационные выпуски по радио и телевидению, мы выуживаем необходимую информацию из интернета, из информационных табло различного назначения и т.д. Несмотря на то, что с понятием информации мы повсеместно сталкиваемся, строгого и общепринятого определения до сих пор не существует [1, 2]. Поэтому вместо определения обычно используют понятие об информации.

С учетом интуитивной точки зрения понятие «информация» может быть истолковано как некоторая совокупность сведений, определяющих меру наших знаний о тех или иных событиях, явлениях или фактах. Такое определение, характерное для естественных наук, во многих случаях может быть отвергнуто в социальных науках. Более того, в современных информационных системах, а именно на них ориентирована дисциплина «Прикладная теория информации», информация может быть получена и обработана без участия человека, и ни о каком знании или незнании здесь речь идти не может. Легко убедиться, что для решения инженерных задач необходимо найти способ измерения информации, а для этого требуется ввести количественную меру информации.

---

Введение количественной меры информации является весьма сложной задачей. Действительно, информация может быть чрезвычайно разнообразной. Мы можем получить информацию о погоде, о сроках защиты курсовых проектов, узнать о новом открытии или изобретении. Различная информация будет вызывать у нас различные эмоции, и будет представлять различную ценность. Из двух книг одинакового объема можно извлечь совершенно различную информацию. Очевидно, что количественная мера информации не должна противоречить нашим интуитивным представлениям, должна охватывать то общее, что присуще всему многообразию различной информации, и, главное, эта мера должна быть полезной для информационных систем.

Кратко характеризуя содержание прикладной теории информации, можно отметить, что в ней рассматриваются:

• общая количественная мера информации, не зависящая от природы объектов (источников информации) и основанная на статистических характеристиках таких источников;

• общие законы передачи, обработки и хранения информации. Эти законы имеют характер известных законов сохранения энергии и устанавливают ряд важных предельных соотношений, как то: максимальную скорость передачи информации, наибольшую эффективность кодирования сообщений и др.;

• общие зависимости, определяющие влияние тех или иных факторов на преобразование, скорость передачи, потерю и возможность хранения информации.

В то же время необходимо иметь в виду то обстоятельство, что современная теория информации, принимающая в свою основу статистические характеристики источников информации, не учитывает семантики (ценности) сообщения, что сужает области ее применения.

1.2. Количественная мера информации для равновозможных событий

Источники информации могут быть дискретными и непрерывными. Дискретные источники имеют конечный набор различных состояний, а непрерывные – бесконечный (теоретически).

Сначала рассмотрим дискретные источники.

Под событием будем понимать состояние дискретного источника информации (объекта). Например, в двоичном канале как источнике информации имеют место два события (состояния), условно называемые нулевым и единичным. Нулевому соответствует состояние, когда по каналу передается нулевой символ («0»), а единичному – когда передается единичный символ («1»).

Обратим, прежде всего, внимание на то обстоятельство, что всякая информация может быть получена только в результате того или иного целенаправленного опыта (действия). Таким опытом может быть получение телеграммы, чтение книги, просмотр информационного табло с расписанием движения транспортных средств, измерение температуры, запуск на поверхность планеты Венера исследовательского аппарата и передача с него интересующих данных на Землю и т.д.

Чем можно охарактеризовать факт получения информации? Можно сказать, что во всех случаях до опыта на интересующий нас вопрос мы не можем ответить однозначно. Таким образом, до опыта имеет место бóльшая или меньшая неопределенность в исходе тех или иных событий. После опыта, в результате которого мы можем получить информацию об интересующих нас событиях, ситуация становится более определенной: на поставленный вопрос мы можем ответить либо однозначно, либо, по крайней мере, число возможных ответов уменьшится и, следовательно, уменьшится имевшая место до опыта неопределенность.

---

Рассмотрим пример (из студенческой жизни с фольклорным оттенком). Вы отправились сдавать экзамен. До опыта (экзамена) для Вас возможны 4 исхода (оценки): «отлично», «хорошо», «удовлетворительно», «неудовлетворительно» ( ). Бабушка в томительном ожидании обнаруживает, что Вы забыли телефон. Тогда она обзванивает знакомых своей внучки-студентки, пытаясь выяснить, как она сдала экзамен. В результате такого опыта (действия) она получает несколько ответов на свой вопрос:

– «Не знаю».

– «Неудовлетворительных оценок в группе не было».

– «Хорошо» или «Отлично».

– «Хорошо».

В первом ответе исходная неопределенность результат экзамена сохранилась ( ). Во втором ответе неопределенность уменьшилась до трех исходов ( ). В третьем ответе неопределенность еще более уменьшилась до двух исходов ( ). В четвертом ответе неопределенность оказалась исключенной: результат экзамена (оценка) стал единственным ( ) – «хорошо», что успокоило бабушку.

Из приведенного примера интуитивно следует, что полученные в результате проведенного опыта ответы будут содержать неодинаковое количество информации. Ее максимальное значение, очевидно, будет в четвертом ответе, когда ситуация полностью определяется и неопределенность результата экзамена полностью устраняется. Таким образом, уменьшение неопределенности в результате опыта (действия) может быть принято за наиболее общую меру количества получаемой информации. В этом смысле говорят, что информация обратна неопределенности. Чем больше устраняется неопределенность, тем больше мы получаем информации.

Все оценки количества информации основаны на понятиях теории вероятностей. Поэтому, прежде чем перейти к рассмотрению мер количества информации, познакомимся с элементами теории вероятностей, необходимыми для понимания рассматриваемого в данном курсе материала. Более подробно и строго теорию вероятностей вы будете изучать в следующем семестре в курсе «Математика».

Выше мы отметили, что дискретный источник информации может находиться в одном из конечного множества состояний. Это состояние мы назвали событием.

Пусть источник информации выдает последовательность n-разрядных цифровых слов, т.е. слов, состоящих всего из двух символов: 0 и 1. Обозначим событие, соответствующее появлению в i-м разряде слова «нуля» через А, а событие, соответствующее появлению «единицы» через В. Пусть в цифровом слове имеется m₁ «нулей» и m₂ «единиц». Очевидно, что m₁+ m₂=n.

Вероятностью события называется отношение числа элементарных исходов, благоприятствующих данному событию, к числу всех равно­возможных исходов опыта в котором может появиться это событие.

Вероятность события А обозначают через р(А) (здесь р - первая буква французского слова probabilite - вероятность).

В соответствии с определением и принятыми обозначениями вероятность появления «нуля», т.е. события А, определяется как отношение числа элементарных исходов, благоприятствующих событию А (в нашем случае это число m₁), к числу всех возможных элементарных исходов опыта (в нашем случае это число n):

---

Соответственно, .

Это определение вероятности называют классическим. Оно возникло на начальном этапе развития теории вероятностей.

Вероятность события имеет следующие свойства:

1. Вероятность достоверного события равна единице. Обозначим достоверное событие буквой U. Для достоверного события m₁=n, (т.е. для нашего примера цифровое слово состоит из одних «нулей», и какой бы разряд мы не выбрали, все равно получим 0).

Таким образом, р(U)=1.

2. Вероятность невозможного события равна нулю. Обозначим невозможное событие буквой V. В нашем примере m₁=n, соответственно m₂=0, поэтому р(V)=0.

3. Вероятность случайного события выражается положительным числом, меньшим единицы 0<p(Х)<1.

4. Вероятность любого события Y удовлетворяет неравенствам 0≤p(Y)≤1.

Мера Р. Хартли

Меру количества информации, получаемой в результате того или иного опыта, можно было бы установить как функцию отношения числа равновозможных ответов до опыта ( ) и после опыта ( ), т.е. как функцию .

Интуиция подсказывает, что количество получаемой в результате опыта информации должно быть тем больше, чем больше это отношение, что полностью согласуется с рассмотренным примером. Вместе с тем интуиция подсказывает, что в первом опыте, когда , исходная (до опыта) неопределенность не уменьшается и, следовательно, количество получаемой при таком опыте информации будет нулевым, а введенное отношение оказывается равным единице ( ). Таким образом, функция отношения входит в противоречие с нашей интуицией.

Более удобной для количественной меры информации оказывается логарифмическая функция:

. (1.1)

Выбор основания логарифма в выражении (1.1) принципиального значения не имеет. В информационных системах переносчиком информации в основном являются двоичные коды. Поэтому в выражении (1.1) целесообразно выбрать , а , при этом количество информации будет измеряться в двоичных единицах (сокращенно дв. ед., а по-английски bit (бит)).

Заметим, что логарифмическая функция (1.1) устраняет отмеченное выше для первого ответа противоречие, заключающееся в том, что для этого ответа исходная неопределенность сохраняется: и получаемое количество информации при этом будет нулевым, поскольку .

Если рассматриваемые события равновозможны, то априорная (доопытная) вероятность события будет равна , а апостериорная (после опыта) вероятность .

С учетом введенных обозначений и пояснений формула (1.1) примет вид

(1.2)

Здесь и в дальнейшем основание логарифма, равное 2, для простоты записи опущено. При практическом использовании формулы (1.2) иногда полезна замена .

Если события равновозможны, и если к тому же после опыта ситуация полностью определена , формула (1.2) примет вид

(1.3)

Такая мера была предложена американским ученым Ральфом Хартли и получила его имя.

Из формулы (1.3) вытекает, что получению одной двоичной единицы количества информации соответствует случай, когда выясняется, какое из двух равновозможных событий имеет место. К примеру, прочитав содержимое одного разряда двоичного регистра, мы и получаем одну двоичную единицу информации, если в этом разряде априорно известно, что вероятности символов «0» и «1» одинаковы.

---

Мера Р. Хартли относится к весьма частному случаю, а именно когда события имеют одинаковую вероятность. Такая модель источников информации редко используется в реальности. Кроме того, мера Р. Хартли предполагает полную достоверность результатов опыта, исключающую сохранение какой-либо неопределенности, что в информационных системах, как оказалось, далеко не всегда выполнимо.

1.3. Количественная мера информации для разновозможных событий (сообщений). Энтропия источника дискретных (цифровых) сообщений

Формула (1.2), , устанавливает непосредственную связь между количеством информации, получаемой о некотором i-м событии (x_i) в результате опыта, и изменением вероятности этого события до (p(x_i)) и после (p_c(x_i)) опыта.

Эта связь может быть обобщена и на случай, когда имеется некоторое конечное множество независимых событий x_i с разными априорными вероятностями p(x_i). Такие события называют разновозможными событиями. Указанную зависимость получил Клод Шеннон, существенно развивший количественную меру информации соотечественника Р. Хартли.

Рассмотрим некоторое конечное множество событий . Такими событиями могут быть, например, состояния регистра данных компьютера. Допустим, что эти события независимы и несовместны. Независимость означает, что наступление одного события не зависит от того, было или не было до этого другое событие. Несовместность означает, что разные события не могут происходить одновременно. Например, после аналого-цифрового преобразования (АЦП) происходит запись результата, представляющего собой двоичное n-разрядное число в регистр. Регистр не может находиться одновременно в двух разных состояниях, т.е. в него нельзя одновременно записать два разных числа.

Пусть априорные вероятности событий x_i соответственно равны . Для несовместных событий выполняется условие

.

Это означает, что в течение некоторого наблюдаемого отрезка времени всегда происходит лишь одно из этих событий.

Множество с известным распределением вероятностей его элементов будем называть ансамблем, который можно представить как

. (1.4)

Ансамбль (1.4) рассматривается как некоторая модель физической системы, которая может находиться в различных состояниях или в которой может происходить различных событий (вспомните ранее упомянутый регистр данных). В этой модели мы рассматриваем случай, когда эти события независимы и несовместны.

Используя формулу (1.2), можно сказать, что достоверное сообщение [ ] о том, что из всех событий происходит именно событие , несет в себе количество информации, равное

(1.5)

Из (1.5) следует, что сообщение о событии несет тем большее количество информации, чем меньше априорная вероятность этого события. Данное положение хорошо согласуется с интуитивным представлением об информации. Нас нисколько не удивит сообщение в разгар лета, что завтра ожидается теплый день. Неопределенность такого события ничтожно мала, и поэтому услышанное нами сообщение содержит очень мало нового – мало информации. Если бы мы вдруг услышали сообщение, что завтра ожидаются заморозки, то в этом сообщении (если оно, конечно, достоверно) для нас содержалось бы гораздо больше информации. Таким образом, формула (1.5) согласуется с нашими интуитивными представлениями.

---

Смотрите также файлы

• Mikheev_otvety_na_voprosy.docx

• Навч.посібник Акушерство, гінекологія та штучне осіменіння с.г. тварин, Харута, 2013.pdf

• Ветеринарне акушерство, Яблонський, 2006.pdf

• МЕДИКО-тактическая характеристика очагов.docx

• Этика ДО Экзамен Ответы.docx