Файл: Энтропия как мера степени неопределенности системы.docx

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Сибирский государственный университет науки и технологий

имени академика М.Ф. Решетнева»

Институт информатики и телекоммуникаций
Кафедра информационно-управляющих систем
Отчет по лабораторной работе №1

Тема: Энтропия как мера степени неопределенности системы

Преподаватель _________Курашкин С.О.
Обучающийся БИЭ21-01 211211021 ____________Самохин В.Д.

Красноярск 2023

ВВЕДЕНИЕ

Цель: закрепить теоретические знания и получить практические навыки при вычислении энтропии.
Задание:

1. 
   Получить таблицу значений функции
   

(p) = −p *log2 p

при

изменении р от 0,01 до 0,99 с шагом 0,01.

2. 
   Система может находиться в двух состояниях. Вероятность одного
   

состояния p. Определить значения энтропии при изменении p от 0,01 до 0,99 с

шагом 0,01. Определить максимальное значение энтропии. Построить график.

3. 
   Пользуясь таблицей частот русского языка (таб. 2) определить
   

энтропию однобуквенного сочетания русского текста.

4. 
   На основе заданного текстового файла определить частоту появления символов в тексте. Определить энтропию однобуквенного сочетания заданного текста.
   

ХОД РАБОТЫ

Задание №1: получить таблицу значений функции при изменении р от 0.01 до 0.99 с шагом 0.01



Рисунок 1 – задание 1



Рисунок 2 – значения n(p)



Рисунок 3 – значения n(p)



Рисунок 4 – значения n(p)

Задание 2: Система может находиться в двух состояниях. Вероятность одного состояния p. Определить значения энтропии при изменении p от 0,01 до 0,99 с шагом 0,01. Определить максимальное значение энтропии. Построить график.

---

Рисунок 5 – Значения энтропии



Рисунок 6 – значения энтропии



Рисунок 7 – значения энтропии



Рисунок 8 – значения энтропии

Максимальное значение энтропии = 1



Рисунок 9 – график зависимости энтропии от вероятности состояния p

Задание 3 : Пользуясь таблицей частот русского языка (таб. 2) определить энтропию однобуквенного сочетания русского текста.

Таблица 2



Для вычисления энтропии вводят специальную функцию:

Тогда формула энтропии примет следующий вид:



Энтропия однобуквенного сочетания русского текста= Н(х)=4,34897

Задание 4: на основе заданного текстового файла определить частоту появления символов в тексте. Определить энтропию однобуквенного сочетания заданного текста.

Текст вариант 23:

косметика, чем кардинальные перемены.

"C&C" - это стратегическая игра. Ее виртуальное пространство представляет из

себя всю планету. На этом безропотном полигоне несостоявшиеся Наполеоны и Жуковы

ведут бесконечные войны за мировое господство, управляя в несуществующих штабах

выдуманными армиями. Там гремят танковые гусеницы и взмывают в небо ракеты.

Разрабатываются новые, чудовищные вооружения, атомными взрывами выжигаются дотла

мировые столицы. В этой игре не надо быть ловким или метким, здесь важно

стратегическое мышление. Говорят, что за ней очень внимательно приглядывают

военные... и порой удачливые игроки получают предложения поступить на

действительную военную службу. Кого-то это отпугивает, но многих, наоборот,

привлекает. Я немного играл в этих "солдатиков для взрослых". Игра, на мой

взгляд, безобидная и спокойная. Расхаживаешь с чашкой кофе в красивом мундире по

штабу, заполненному вышколенными адъютантами, и говоришь: "А не сбросить ли нам

---

термоядерную бомбу на Лос-Анджелес?"

В последний год игра чуть изменилась, теперь ее надо начинать лейтенантом,

командуя маленьким взводом в тактических схватках, подчиняясь чужим приказам, и

постепенно подниматься до главнокомандующего своей страны. Появились возможности

военных переворотов, предательства, партизанской войны "против всех"... Не знаю,

наверное, игра стала интереснее. Но я любил прежние правила.

"Mortal Combat" - еще проще и незатейливее. Это мордобой в виртуальном

пространстве. Можно надеть одну из сотен готовых личин, или придумать свою - и

принять участие в многодневном турнире за право сразиться с главным злодеем,

мечтающим поработить всю Землю. Вот эта игра полезна до чрезвычайности. Нигде

так не выпустишь лишний пар и нездоровые эмоции, как на мрачных аренах "Mortal

Combat", колотя противника пяткой по лбу или обрушивая на него магические

заклинания. Хорошая игра. Я туда захожу раз-другой в месяц, но некоторые не

вылезают из поединков. Говорят, что если особенно не злоупотреблять магией -

которая, увы, в реальности недоступна - то можно неплохо научиться драться. Но я

в этом сомневаюсь. Все-таки одно дело "удар", который ты почувствовал при помощи

виртуального костюма, и подлинная арматурина, которой тебя огреют на улице.

И, конечно, есть еще "Doom". Та самая игра, с попадания в которую началась

виртуальная эра.

Ее основное поле называется незатейливо - "Лабиринт Смерти". Это действительно

лабиринт - пятьдесят уровней, часть из них расположена в зданиях и подземельях,

часть - на улицах Сумеречного Города, этакого условного мегаполиса, который был

захвачен инопланетной цивилизацией. Глубина в глубине, пространство в

пространстве. Со своими законами и правилами.

Игра начинается с первого уровня - полуразрушенного вокзала, куда игрок

прибывает на дрезине, с одним-единственным пистолетом в качестве оружия. Вокзал

заполнен монстрами - бывшими жителями Сумеречного Города и другими игроками. Кто

из них опаснее, сказать трудно - монстры лучше вооружены, игроки, разумеется,

умнее, чем машины. На вокзале можно найти оружие, защитное снаряжение, аптечки,

пищу. Выбравшись из вокзала, попадаешь на второй уровень - автостраду, где полно

---

брошенных машин... ну, и, разумеется, монстров и игроков. Для победы надо дойти

до пятидесятого уровня - древнего собора в центре города - и уничтожить

предводителя пришельцев. Это сложно. Я когда-то доходил. Но с тех пор "Лабиринт"

менялся раз десять - появлялись новые здания, вооружения, монстры. И, конечно,

новые игроки, игровые наркоманы, уже не мыслящие жизни без перестрелок на улицах

Сумеречного Города.

Это интересная игра. Прежде всего потому, что требует постоянного общения с

другими людьми. Не "боя насмерть", как в "Mortal Combat", не обмена

дипломатическими посланиями и угрозами, как в "C&C", а именно общения.

Заключения союзов, уговоров, каких-то мелких житейских хитростей...

Вот только что необычного могло случиться в пространстве "Лабиринта"?

110

Административный корпус "Лабиринта Смерти" - двухэтажное здание на окраине

Диптауна, облицованное розовым ракушечником. У него мирный и уютный вид, это

скорее жилой дом, чем контора. В таких коттеджах, наверное, живут американские

семьи среднего достатка. Вход в "Лабиринт" поодаль, и уж он выглядит куда

эффектнее. Я стою в саду, разглядываю охранника перед дверью. Тот в

маскировочном комбинезоне, стандартном обмундировании игроков, и со штуцером в

руках. Морда - непроницаемая, стоит - не шелохнется. Человек или нет?

Интересоваться глупо, тем более что хорошо сделанную программу отличишь от

человека не сразу. Прохожу мимо охранника, оказываюсь в небольшом зале. Сквозь

окна бьет яркий солнечный свет. Вдоль стен - журнальные столики, мягкие кресла.

Посередине зала - стол посолиднее, за ним сидит улыбающаяся девушка. Секретарша,

и, похоже, живая.

- Здравствуйте, - говорю я.

Лицо секретарши чуть меняется.

- Добрый день, - говорит она. Голос мягкий, приятный. Похоже, меня переключили

на русскую сотрудницу фирмы.

- Мне нужно встретиться с руководством, - начинаю без церемоний.

- Конкретнее, если можно.

Девушка - сама любезность. Но пробиться сквозь этот заслон не проще, чем через

монстра у моста в "Аль-Кабар".

- У меня конфиденциальная информация для руководства "Лабиринта".

- И все же я прошу вас кратко изложить цель визита.

Что ж...

- Я хотел бы сообщить господину Гильермо Агирре, что осведомлен о маленькой

---

проблеме, возникшей на днях, и о том, что сотрудничающие с вами дайверы не

смогли ее решить. Я намерен предложить свои услуги в разрешении возникшей

проблемы.

Секретарша кивает.

- Минуточку.

Она неторопливо встает и выходит в одну из внутренних дверей. Я терпеливо жду.

Все очень мило и патриархально. Никаких компьютеров, никаких монстров. Не офис

самого мрачного и дорогостоящего аттракциона в истории человечества, а мелкая

контора по торговле туалетной бумагой...

Девушка отсутствует долго. Мне надоедает стоять, я присаживаюсь в одно из

кресел, листаю разбросанные на журнальном столике газеты. Тихо и мирно. Кроме

меня - никаких посетителей, хотя, на самом деле, они наверняка есть. Просто мы

не видим друг друга, а общаются они с другими сотрудницами фирмы.

- Господин...

- Стрелок, - говорю я, вставая. - Зовите меня Стрелок.

Девушка кивает.

- Господин Гильермо Агирре примет вас.

В ее голосе легкое любопытство. Похоже, она не подозревала о том, что в

"Лабиринте" существуют какие-то проблемы.

Вхожу в указанную дверь и замираю.

Это красиво.

Помещение неправильной треугольной формы, одна стена полностью прозрачная, из

Для нахождения частоты необходимо воспользоваться:

, где m - число появлений символа А; n – общее число символов в тексте.



Рисунок 10 – Значения энтропии и частоты

Энтропия H(x) равна = 4,356181442

Контрольные вопросы и ответы:

1. 
   Что такое энтропия и каковы ее свойства? — Это мера неопределённости состояния системы.
   
2. 
   Как вычисляется энтропия системы? -
   

3. 
   От каких параметров системы зависит энтропии системы? — Энтропия зависит от вероятности состояния p.
   
4. 
   В каких единицах может измеряться энтропия системы? —
   

Энтропия измеряется в битах, дитах , натах.

5. 
   Как определяется один бит информации в теории информации? —
   

Бит информации - символ или сигнал, который может принимать два значения: включено или выключено, да или нет, высокий или низкий, заряженный или незаряженный

6. 
   Как вычисляется максимальная энтропия? —
   

---