Файл: Мультимедиа технологии.pdf

ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ
Федеральное государственное бюджетное образовательное учреждение
высшего образования
«ПОВОЛЖСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
ТЕЛЕКОММУНИКАЦИЙ И ИНФОРМАТИКИ»
Кафедра информационных систем и технологий
А.А. Диязитдинова
МУЛЬТИМЕДИА ТЕХНОЛОГИИ
Учебное пособие
Самара
2020

2
УДК 004.4
ББК 3.30.30ф
Д
Рекомендовано к изданию методическим советом ПГУТИ, протокол № 2 от 13.10.2020 г.
Диязитдинова А.А.
Д Мультимедиа технологии: учебное пособие/А.А. Диязитдинова. – Самара:
ПГУТИ, 2020. – 437 с.
Рассматриваются принципы мультимедийных технологий: аппаратные и программные средства для создания и редактирования элементов мультимедиа, способы формирования аудио, видеосигналов и компьютерной графики; приведены основы работы цифрового телевидения, в том числе прицепы кодирования по стандартам MPEG-1 и MPEG-2, технологии создания и прицепы функционирования телевизоров, поддерживающих прием и визуализацию цифровых сигналов: плазменные, жидкокристаллические и OLED- телевизоры, описаны принципы трехмерной графики и получения стерео видеоизображений, заключительный раздел посвящен описанию современных технологий для хранения на форматах CD и DVD, отображения с использованием электронной бумаги и виртуальной реальности, а также измерения по технологии Lidar.
Данное учебное издание рекомендуется к использованию в образовательных учреждениях, реализующих образовательные программы высшего профессионального образования, по дисциплине «Мультимедиа технологии» по специальности 09.03.02
«Информационные системы и технологии».
 Диязитдинова А.А., 2020
 ПГУТИ., 2020

3
ОГЛАВЛЕНИЕ
Предисловие
7
Введение
9
Лекция 1. Понятие мультимедиа технологий. Xарактеристики мультимедиа
12 1.1 Понятие мультимедиа технологий. Характеристики мультимедиа
12 1.2 Мультимедиа технологии в образовании
19
Лекция 2. Аппаратные и программные средства для создания и редактирования элементов мультимедиа
22 2.1 Аппаратные и программные средства для создания и редактирования элементов мультимедиа
22 2.2 Аппаратные средства для создания и редактирования элементов мультимедиа
25 2.3 Видеокарта
31
Лекция 3. Средства мультимедиа. Аудио
39 3.1 Определение понятия «аудио». Форматы сжатия аудио
39 3.2 Кодирование и обработка звуковой информации на компьютере
42 3.3 Параметры дискретизации
47 3.4 Задачи по кодированию звука
51
Лекция 4. Средства мультимедиа. Компьютерная графика
54 4.1 Понятие компьютерной графики
54 4.2 Растровое представление графической информации
55 4.3 Векторное представление графической информации
65 4.4 Универсальные и векторные графические форматы
67 4.5 Векторное кодирование графической информации
71 4.6 Цветовые модели
75 4.7 Цветовая модель RGB
76 4.8 Цветовая модель SMYK
79 4.9 Цветовая модель HSB
83 4.10 Цветовая модель Lab
84 4.11 Цветовая модель Grayscale
85 4.12 Индексные цвета
86
Лекция 5. Средства мультимедиа. Видео
91

4 5.1 Понятие видео
91 5.2 Стандарты: PAL, SECAM, NTSC
91 5.3 Характеристики видеосигнала
95 5.4 Качество видео. Классификация
106 5.5 Стандарты цифрового кодирования и сжатия видеоматериалов
111
Лекция 6. Цифровое телевидение
116 6.1 Этапы истории цифрового телевидения
118 6.2 Европейский стандарт цифрового телевидения DVB-Т
122 6.3 Американский стандарт цифрового телевидения ATSK
123 6.4 Японский стандарт цифрового телевидения ISDB-T
123 6.5 Китайский стандарт цифрового телевидения DTMB
124 6.6 Уровни качества цифрового телевизионного вещания
125 6.7 Стандарт DVB
129 6.8 Модели кодирования сигналов
135 6.9 Стандартизация
139
Лекция 7. Стандарты сжатия движущихся изображений и MPEG-1 и MPEG-2 143 7.1 Стандарты сжатия MPEG
145 7.2 Стандарт сжатия MPEG-1 146 7.3 Стандарт сжатия MPEG2 151 7.4 Форматы MPEG следующего поколения
162
Лекция 8. Плазменные технологии
171 8.1 Определение плазменной панели
171 8.2 История развития плазменных панелей
172 8.3 Конструкция плазменных экранов
173
Лекция 9. Жидкие кристаллы. Технология OLED
193 9.1 Жидкие кристаллы
193 9.2 Виды матриц
196 9.3 Параметры ЖК-мониторов
204 9.4 Технология OLED
207
Лекция 10. Трехмерная графика и 3D моделирование
217 10.1 Виды трехмерной графики
217

5 10.2 Освещение
225 10.3 Рендеринг
229 10.4 Сглаживание
233 10.5 Пакеты для моделирования 3D
234
Лекция 11 3D. Стереокино. Стереокинематограф
237 11.1 3D. Стереокино
237 11.2 Историческая справка
241 11.3 Виды ЖК дисплеев
243 11.4 Стереокинематограф
249 11.5 Технологии стереосъемки
250 11.6 Виды стереосъемки
251 11.7 Методы стереосъемки
252 11.8 Виды оборудования для стереосъемки
253 11.9 История развития стереокинематографа
257 11.10 Форматы стереофильмов
263
Лекция 12. Работа с видео. Сжатие видеоинформации. Технология CD- и DVD-дисков
272 12.1 Технология компакт-дисков
274 12.2 Типы компакт дисков
276 12.3 Форматы CD-DA (CD Audio), Data CD, VideoCD, Super Audio CD (SACD), Super
Video CD (SVCD) и смешанные форматы
280 12.4 Устройство DVD
287 12.5 HD DVD, Blu-ray
291 12.6 Технические детали
298
Лекция 13. Электронная бумага
310 13.1 Электронная бумага
311 13.2 История развития электронной бумаги
314 13.3 Характеристики электронных книг
322 13.4 Поколение дисплея E-Ink
327 13.5 Применение электронной бумаги
331
Лекция 14. Виртуальная реальность
341 14.1 История виртуальной реальности
343

6 14.2 Создание условной виртуальной реальности
348 14.3 Прожективные виртуальные реальности
349 14.4 Пограничные виртуальные реальности
350 14.5 Технологии виртуальной (VR) и дополненной (AR)
353 14.6 Области применения виртуальной реальности
357
Лекция 15. Основы информационного дизайна
372 15.1 Основы информационного дизайна. Базовые понятия векторной графики
372 15.2 Принципы дизайна
378
Лекция 16. Технология Лидар
399 16.1 Принцип работы технологии Лидар
404 16.2 Использование технологии Lidar
404 16.3 Применение Lidar
405 16.4 Примеры практического применения связки LiDAR и дронов
414
Список литературы
420
Глоссарий
421
Список терминов и сокращений
431

7
ПРЕДИСЛОВИЕ
Настоящий курс лекций предназначен для студентов по направлению подготовки 09.03.02 – Информационные системы и технологии.
Цель данного учебного пособия состоит в том, чтобы в краткой и доступной форме изложить основы мультимедийных технологий, которые включают в себя такие направления как аппаратные и программные средства для работы с аудио- и видеоинформацией, компьютерную графику, стандарты передачи цифрового телевидения, способы визуализации видеоизображений, предназначенные для цифровых сигналов радиосвязи, трехмерное моделирование, технологии виртуальной реальности и т.д.
Появление первых персональных компьютеров ознаменовало собой качественно новый виток развития технологий обработки, хранения и визуализации аудио- и видеоинформации, Совокупность появившихся технологий получило название мультимедийных. Мультимедийные технологии – это достаточно общее понятие, в котором можно выделить следующие разделы: аппаратная и программная составляющая.
Аппаратная составляющая включает в себя устройства хранения данных и технологии визуализации (жидкокристаллические и плазменные телевизоры, электронная бумага).
Программная составляющая включает в себя различные методы обработки сигналов. К ним относятся аудиокодеки, видеокодеки, стандарты семейства MPEG, трехмерная графика, технологии дополненной и виртуальной реальности.
Отдельное место занимают специфический класс устройств, где аппаратная и программная составляющая неотделимы друг от друга. Эти мультимедийные устройства являются, как правило, либо высокоточными измерительными приборами (Lidar, триангуляционные датчики и т.д.) или относятся к классу устройств, обладающих искус венным интеллектом.
Популярность мультимедийных технологий обусловлено их широкой доступностью для большого числа людей, которые обладают персональным

8 компьютером, мобильным телефоном или планшетом. При этом нет никакой необходимости быть узкопрофильным специалистом в сфере, например, обработки аудио- и видеосигналов.
Существующий широкий спектр программ, обладающих интуитивно понятным графическим интерфейсом, позволяет проводить обработку сигналов, используя шаблоны, которые удовлетворяют потребностям пользователей.
Существующий объем знаний и информации по мультимедийным технологиям огромен, охватить который полностью вероятнее всего невозможно. Однако, чтобы специализироваться на этой области знаний необходимо знать теоретические основы: принципы построения аппаратной составляющей и математические способы, приемы и методы, которые являются основой программных алгоритмов.
В представленном учебном пособии представлены материалы по этим областям знаний, чтобы сформировать у учащихся общее представление по современным мультимедийным компьютерным технологиям.

9
ВВЕДЕНИЕ
В настоящее время мультимедийные технологии прочно вошли в повседневную жизнь современного общества. Благодаря широкой распространенности персональных компьютеров, мобильных телефонов и планшетов, оснащенных высокопроизводительными процессорами, технологии цифровой обработки сигналов стали доступны практически любому человеку на планете.
Такая ситуация стала возможной благодаря сочетанию нескольких факторов: накопленному теоретическому опыту по цифровой обработке сигналов, процессорам, обладающих огромной вычислительной мощностью, и стандартизированному интерфейсу взаимодействия с процессором.
Востребованность в технологиях хранения, визуализации и обработки аудио, видео, трехмерных изображений и т.д. стимулировало научно-инженерную область.
Сложно выделить определенную главенствующую составляющую, или выделить признаки, которые позволяют отнести технологию к мультимедийной или к какому-то другому направлению.
Фактически, общей чертой является возможность использовать программные и аппаратные средств на базе компьютеров или подобных им
ЭВМ,
Таким образом, к мультимедийным технологиям можно отнести:
– устройства хранения и принципы их работы: компакт диски (CD,
DVD), жесткие диски, твердотельные накопители;
– устройства ввода: звуковые карты и видеокарты;
– устройства визуализации: жидкокристаллические мониторы, плазменные панели, электронная бумага;
– программы обработки: графические редакторы, стандарты сжатия аудио- и видеоинформации, редакторы трехмерной графики, программы виртуальной и дополненной реальности и т.д.

10
Список направлений гораздо шире. При таком положении дел возникла острая проблема изучения теоретических вопросов, касающихся мультимедийных технологий. Объем информации, накопленный даже в одном из направлений, очень велик. Дать описание существующих стандартов, особенностей, различий между «устаревшими» и «новыми» стандартами в рамках одного учебного курса является невыполнимой задачей. Кроме большого объема информации по технологиям мультимедиа, существует не менее серьезная проблема, связанная с фрагментацией знаний.
Особенно это хорошо видно, если использовать источники информации из сети интернет, где материалы по современным технологиях никак не связаны друг с другом. Например, разрозненная информация о различных, но очень близких по смыслу, технологиях не позволяет сформировать общую картину и проследить преемственность. Такой подход усвоения материала не позволяет сформировать глубоких знаний.
В настоящем пособии была сделана попытка решения проблемы фрагментации. Общая идея заключается в описании базиса, который лежит в основе мультимедийных технологий. При этом не заостряется внимания на деталях и особенностях, которые возникли в ходе совершенствования стандартов. При описании программных средств основной упор делается на описании математического аппарата. Основы, представленные в первом разделе конспекта лекций, позволяет более осознанно подойти к изучению таких сложных областей, как стандарты сжатия видео, 3D графики, виртуальной реальности, а также аппаратным средствам, связанных с цифровым телевидением.
В предлагаемом курсе рассматриваются принципы ввода аудио- и видеоинформации, способы сжатия данных, принципы кодировании цветных видеоизображений, физические основы, лежащие в основе устройств отображений, принципы восстановления 3D изображений. Каждый раздел содержит лекции, объединенные общей тематикой. Для каждой лекции подобраны примеры, описывающие физические процессы и логические

11 взаимосвязи в технологиях мультимедиа. Теоретический материал закрепляется в ходе проведения лабораторных работ и практических занятий.

12
Лекция 1. Понятие мультимедиа технологий. Xарактеристики
мультимедиа
Краткая аннотация лекции: Рассматривается текущее состояние дел в данной области.
Дается общее представление о характеристиках мультимедиа.
Цель лекции: познакомиться с понятием мультимедиа технологий, их основными характеритиками, сферами применения.
1.1 Понятие мультимедиа технологий. Характеристики мультимедиа
Мультимедиа технологии являются одним из наиболее перспективных и популярных направлений информатики. Они имеют целью создание продукта, содержащего «коллекции изображений, текстов и данных, сопровождающихся звуком, видео, анимацией и другими визуальными эффектами (Simulation), включающего интерактивный интерфейс и другие механизмы управления». Данное определение сформулировано в 1988 году крупнейшей Европейской Комиссией, занимающейся проблемами внедрения и использования новых технологий.
Мультимедиа – это интерактивные системы, обеспечивающие работу с неподвижными изображениями и движущимся видео, анимированной компьютерной графикой и текстом, речью и высококачественным звуком.
Технологию мультимедиа составляют специальные аппаратные и программные средства.
Мультимедиа объединяет несколько типов разнородных данных (текст, звук, видео, графическое изображение и анимацию) в единое целое. И это понятие само по себе имеет три лица.
Во-первых, мультимедиа – как идея, т. е. новый подход к хранению информации различного типа в единой цифровой форме.
Во-вторых, мультимедиа – как оборудование для обработки и хранения информации, без него мультимедиа-идею реализовать невозможно.

13
В-третьих, это программное обеспечение (ПО), позволяющее объединить четыре элемента информации в законченное мультимедиа- приложение.
Появление систем мультимедиа, безусловно, производит революционные изменения в таких областях, как образование, компьютерный тренинг, во многих сферах профессиональной деятельности, науки, искусства, в компьютерных играх и т.д.
Появление систем мультимедиа подготовлено как с требованиями практики, так и с развитием теории. Однако, резкий рывок в этом направлении, произошедший в этом направлении за последние несколько лет, связан, прежде всего, развитием технических и системных средств.
Важную роль сыграла так же разработка методов быстрого и эффективного сжатия / развертки данных.
Области применения Мультимедиа технологий:
 образование (медиаобразование);
 медицина (виртуальная хирургия);
 производство (автоматизированное проектирование);
 наука (моделирования различных процессов);
 искусство
(специальные эффекты в кино, компьютерная мультипликация, трехмерная графика);
 развлечения (компьютерные игры).
Идейной предпосылкой возникновения технологии мультимедиа считают концепцию организации памяти «МЕМЕХ», предложенную еще в
1945 году американским ученым Ваннивером Бушем. Он предложил способ размещения информации по принципу ассоциативного мышления. На основе этого принципа была разработана модель гипотетической машины. Она предусматривала поиск информации в соответствии с ее смысловым содержанием, а не по формальным признакам (по порядку номеров, индексов или по алфавиту и т. п.). Эта идея нашла свое выражение и компьютерную реализацию сначала в виде системы гипертекста (система работы с комбинациями текстовых материалов), а затем и гипермедиа (система,