1. Дайте определение информационной системы и информационного процесса. Приведите понятие информации. 

В настоящее время получили широкое распространение информационные системы. Под информационной системой будем понимать такую систему, которая реализует и поддерживает информационный процесс.

Под информационным процессом будем понимать такой процесс, в котором присутствует хотя бы один из элементов: передача информации, ее прием, хранение, обработка, выдача пользователю .

Понятие «информация» является основополагающим для информационных систем. Проявляется информация всегда в материально-энергетической форме в виде сигналов, являющихся материальными носителями информации

Понятие об информации.

Понятие «информация» может быть истолковано как некоторая совокупность сведений, определяющих меру наших знаний о тех или иных событиях, явлениях или фактах.

В данном случае понятие «информации» можно трактовать как сведения, являющиеся объектом хранения, передачи и преобразования.

Вопрос 2.

Часть 1.Количественная мера информации для равновозможных событий

Источники информации могут быть дискретными и непрерывными. Дискретные источники имеют конечный набор различных состояний, а непрерывные – бесконечный (теоретически).

Сначала рассмотрим дискретные источники.

Под событием будем понимать состояние дискретного источника информации (объекта). Например, в двоичном канале как источнике информации имеют место два события (состояния), условно называемые нулевым и единичным. Нулевому соответствует состояние, когда по каналу передается нулевой символ («0»), а единичному – когда передается единичный символ («1»).

Обратим, прежде всего, внимание на то обстоятельство, что всякая информация может быть получена только в результате того или иного целенаправленного опыта (действия). Таким опытом может быть получение телеграммы, чтение книги, просмотр информационного табло с расписанием движения транспортных средств, измерение температуры, запуск на поверхность планеты Венера исследовательского аппарата и передача с него интересующих данных на Землю и т.д.

Чем можно охарактеризовать факт получения информации? Можно сказать, что во всех случаях до опыта на интересующий нас вопрос мы не можем ответить однозначно. Таким образом, до опыта имеет место бóльшая или меньшая неопределенность в исходе тех или иных событий. После опыта, в результате которого мы можем получить информацию об интересующих нас событиях, ситуация становится более определенной: на поставленный вопрос мы можем ответить либо однозначно, либо, по крайней мере, число возможных ответов уменьшится и, следовательно, уменьшится имевшая место до опыта неопределенность.

Рассмотрим пример (из студенческой жизни с фольклорным оттенком). Вы отправились сдавать экзамен. До опыта (экзамена) для Вас возможны 4 исхода (оценки): «отлично», «хорошо», «удовлетворительно», «неудовлетворительно» ( ). Бабушка в томительном ожидании обнаруживает, что Вы забыли телефон. Тогда она обзванивает знакомых своей внучки-студентки, пытаясь выяснить, как она сдала экзамен. В результате такого опыта (действия) она получает несколько ответов на свой вопрос:

---

– «Не знаю».

– «Неудовлетворительных оценок в группе не было».

– «Хорошо» или «Отлично».

– «Хорошо».

В первом ответе исходная неопределенность результат экзамена сохранилась ( ). Во втором ответе неопределенность уменьшилась до трех исходов ( ). В третьем ответе неопределенность еще более уменьшилась до двух исходов ( ). В четвертом ответе неопределенность оказалась исключенной: результат экзамена (оценка) стал единственным ( ) – «хорошо», что успокоило бабушку.

Из приведенного примера интуитивно следует, что полученные в результате проведенного опыта ответы будут содержать неодинаковое количество информации. Ее максимальное значение, очевидно, будет в четвертом ответе, когда ситуация полностью определяется и неопределенность результата экзамена полностью устраняется. Таким образом, уменьшение неопределенности в результате опыта (действия) может быть принято за наиболее общую меру количества получаемой информации. В этом смысле говорят, что информация обратна неопределенности. Чем больше устраняется неопределенность, тем больше мы получаем информации.

Все оценки количества информации основаны на понятиях теории вероятностей. Поэтому, прежде чем перейти к рассмотрению мер количества информации, познакомимся с элементами теории вероятностей, необходимыми для понимания рассматриваемого в данном курсе материала. Более подробно и строго теорию вероятностей вы будете изучать в следующем семестре в курсе «Математика».

Выше мы отметили, что дискретный источник информации может находиться в одном из конечного множества состояний. Это состояние мы назвали событием.

Пусть источник информации выдает последовательность n-разрядных цифровых слов, т.е. слов, состоящих всего из двух символов: 0 и 1. Обозначим событие, соответствующее появлению в i-м разряде слова «нуля» через А, а событие, соответствующее появлению «единицы» через В. Пусть в цифровом слове имеется m₁ «нулей» и m₂ «единиц». Очевидно, что m₁+ m₂=n.

Вероятностью события называется отношение числа элементарных исходов, благоприятствующих данному событию, к числу всех равно­возможных исходов опыта в котором может появиться это событие.

Вероятность события А обозначают через р(А) (здесь р - первая буква французского слова probabilite - вероятность).

В соответствии с определением и принятыми обозначениями вероятность появления «нуля», т.е. события А, определяется как отношение числа элементарных исходов, благоприятствующих событию А (в нашем случае это число m₁), к числу всех возможных элементарных исходов опыта (в нашем случае это число n):

Соответственно, .

Это определение вероятности называют классическим. Оно возникло на начальном этапе развития теории вероятностей.

Вероятность события имеет следующие свойства:

1. Вероятность достоверного события равна единице. Обозначим достоверное событие буквой U. Для достоверного события m₁=n, (т.е. для нашего примера цифровое слово состоит из одних «нулей», и какой бы разряд мы не выбрали, все равно получим 0).

---

Таким образом, р(U)=1.

2. Вероятность невозможного события равна нулю. Обозначим невозможное событие буквой V. В нашем примере m₁=n, соответственно m₂=0, поэтому р(V)=0.

3. Вероятность случайного события выражается положительным числом, меньшим единицы 0<p(Х)<1.

4. Вероятность любого события Y удовлетворяет неравенствам 0≤p(Y)≤1.

Часть 2. Мера Р. Хартли

Меру количества информации, получаемой в результате того или иного опыта, можно было бы установить как функцию отношения числа равновозможных ответов до опыта ( ) и после опыта ( ), т.е. как функцию .

Интуиция подсказывает, что количество получаемой в результате опыта информации должно быть тем больше, чем больше это отношение, что полностью согласуется с рассмотренным примером. Вместе с тем интуиция подсказывает, что в первом опыте, когда , исходная (до опыта) неопределенность не уменьшается и, следовательно, количество получаемой при таком опыте информации будет нулевым, а введенное отношение оказывается равным единице ( ). Таким образом, функция отношения входит в противоречие с нашей интуицией.

Более удобной для количественной меры информации оказывается логарифмическая функция:

. (1.1)

Выбор основания логарифма в выражении (1.1) принципиального значения не имеет. В информационных системах переносчиком информации в основном являются двоичные коды. Поэтому в выражении (1.1) целесообразно выбрать , а , при этом количество информации будет измеряться в двоичных единицах (сокращенно дв. ед., а по-английски bit (бит)).

Заметим, что логарифмическая функция (1.1) устраняет отмеченное выше для первого ответа противоречие, заключающееся в том, что для этого ответа исходная неопределенность сохраняется: и получаемое количество информации при этом будет нулевым, поскольку .

Если рассматриваемые события равновозможны, то априорная (доопытная) вероятность события будет равна , а апостериорная (после опыта) вероятность .

С учетом введенных обозначений и пояснений формула (1.1) примет вид

(1.2)

Здесь и в дальнейшем основание логарифма, равное 2, для простоты записи опущено. При практическом использовании формулы (1.2) иногда полезна замена .

Если события равновозможны, и если к тому же после опыта ситуация полностью определена , формула (1.2) примет вид

(1.3)

Такая мера была предложена американским ученым Ральфом Хартли и получила его имя.

Из формулы (1.3) вытекает, что получению одной двоичной единицы количества информации соответствует случай, когда выясняется, какое из двух равновозможных событий имеет место. К примеру, прочитав содержимое одного разряда двоичного регистра, мы и получаем одну двоичную единицу информации, если в этом разряде априорно известно, что вероятности символов «0» и «1» одинаковы.

Мера Р. Хартли относится к весьма частному случаю, а именно когда события имеют одинаковую вероятность. Такая модель источников информации редко используется в реальности. Кроме того, мера Р. Хартли предполагает полную достоверность результатов опыта, исключающую сохранение какой-либо неопределенности, что в информационных системах, как оказалось, далеко не всегда выполнимо.

---

Вопрос 3.

Недостатки меры Р. Хартли.

Мера Р. Хартли относится к весьма частному случаю, а именно когда события имеют одинаковую вероятность. Такая модель источников информации редко используется в реальности. Кроме того, мера Р. Хартли предполагает полную достоверность результатов опыта, исключающую сохранение какой-либо неопределенности, что в информационных системах, как оказалось, далеко не всегда выполнимо.

Вопрос 4.

Энтропия источника дискретных (цифровых) сообщений

Формула (1.2), , устанавливает непосредственную связь между количеством информации, получаемой о некотором i-м событии (x_i) в результате опыта, и изменением вероятности этого события до (p(x_i)) и после (p_c(x_i)) опыта.

Эта связь может быть обобщена и на случай, когда имеется некоторое конечное множество независимых событий x_i с разными априорными вероятностями p(x_i). Такие события называют разновозможными событиями. Указанную зависимость получил Клод Шеннон, существенно развивший количественную меру информации соотечественника Р. Хартли.

Рассмотрим некоторое конечное множество событий . Такими событиями могут быть, например, состояния регистра данных компьютера. Допустим, что эти события независимы и несовместны. Независимость означает, что наступление одного события не зависит от того, было или не было до этого другое событие. Несовместность означает, что разные события не могут происходить одновременно. Например, после аналого-цифрового преобразования (АЦП) происходит запись результата, представляющего собой двоичное n-разрядное число в регистр. Регистр не может находиться одновременно в двух разных состояниях, т.е. в него нельзя одновременно записать два разных числа.

Пусть априорные вероятности событий x_i соответственно равны . Для несовместных событий выполняется условие

.

Это означает, что в течение некоторого наблюдаемого отрезка времени всегда происходит лишь одно из этих событий.

Множество с известным распределением вероятностей его элементов будем называть ансамблем, который можно представить как

. (1.4)

Ансамбль (1.4) рассматривается как некоторая модель физической системы, которая может находиться в различных состояниях или в которой может происходить различных событий (вспомните ранее упомянутый регистр данных). В этой модели мы рассматриваем случай, когда эти события независимы и несовместны.

Используя формулу (1.2), можно сказать, что достоверное сообщение [ ] о том, что из всех событий происходит именно событие , несет в себе количество информации, равное

(1.5)

Из (1.5) следует, что сообщение о событии несет тем большее количество информации, чем меньше априорная вероятность этого события. Данное положение хорошо согласуется с интуитивным представлением об информации. Нас нисколько не удивит сообщение в разгар лета, что завтра ожидается теплый день. Неопределенность такого события ничтожно мала, и поэтому услышанное нами сообщение содержит очень мало нового – мало информации. Если бы мы вдруг услышали сообщение, что завтра ожидаются заморозки, то в этом сообщении (если оно, конечно, достоверно) для нас содержалось бы гораздо больше информации. Таким образом, формула (1.5) согласуется с нашими интуитивными представлениями.

---

Формула (1.5) указывает, что в конечном ансамбле Х сообщения x_i о разных событиях несут в общем случае разное количество информации. При решении большинства задач, связанных с построением систем передачи и преобразования информации, оказалось достаточным знать среднее количество информации, приходящееся на одно достоверное сообщение.

Среднее значение а_ср нескольких (n) случайных величин a₁, a_2,,…,a_n в соответствии с правилами теории вероятностей [Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения. – М.: Высшая школа, 2010. – 480 с.] может быть определено как математическое ожидание (МО):

Пример. Имеется ряд чисел: 1, 1, 1, 4, 4, 7. Определить среднее значение.

Из арифметики вы знаете, что надо все сложить и поделить на общее количество чисел

.

А теперь запишем это в таком виде

На предыдущей лекции мы с вами определили, что называется отношение числа элементарных исходов, благоприятствующих данному событию, к числу всех равно­возможных исходов опыта, в котором может появиться это событие, есть вероятность события.

В нашем примере имеется 3 события: а₁ – появление числа «1» с вероятностью р(а₁)=3/6, а₂ – появление числа «4» с вероятностью р(а₂)= 2/6 и а₃ –появление числа «7» с вероятностью р(а₃)=1/6. Таким образом, можем записать выражение для среднего значения

,

т.е. получили приведенную выше формулу для МО.

В нашем случае случайными величинами являются частные меры количества информации , поэтому среднее количество информации, приходящееся на одно достоверное сообщение определяется как

.

С учетом формулы (1.5), определяющей , получим

. (1.6)

В данном случае является мерой количества информации, приходящейся в среднем на одно достоверное сообщение о событии при передаче и преобразовании большого числа таких сообщений.

Эту мера количества информации предложил К. Шеннон. Она более общая, чем мера Хартли, и получила название энтропии конечного ансамбля дискретных событий .

Вопрос 5.

Пример вычисления . Вычислим энтропию двоичного канала как источника информации. В таком канале передаются два символа «0» и «1», т.е. ансамбль событий можно представить как

,

где событие соответствует символу «0», а событие – символу «1».

Обозначим для простоты записи , а
[не забываем, что ^{], по формуле (1.6) находим}

(1.7)

Для построения графика зависимости от определим для трех значений :

Здесь имеется два вида неопределенности: в первом слагаемом при р=0, а во втором – при р=1 получаем log(0), который, как известно, не существует

Для раскрытия неопределенности для первого слагаемого выражения (1.7) при малых значениях рассмотрим предел, к которому стремится это слагаемое:

. Здесь – log p представлен как log 1 – log p.

Обозначив и воспользовавшись правилом Лопиталя, т.е. взяв производные по α от числителя и знаменателя, получим

---

Смотрите также файлы

• Навч.посібник Акушерство, гінекологія та штучне осіменіння с.г. тварин, Харута, 2013.pdf

• Ветеринарне акушерство, Яблонський, 2006.pdf

• МЕДИКО-тактическая характеристика очагов.docx

• Этика ДО Экзамен Ответы.docx

• 1.3 Формы общественной организации производсива.docx