Файл: Направление подготовки 09. 03. 04 Программная инженерия.docx

Направление подготовки 09.03.04 Программная инженерия

к научно-исследовательской работе студента на тему:

1. 
   Анализ существующих решений, моделей и методов генерации аудиоинформа- ции на основе видеоинформации 7
   
   1. 
      Применение технологий нейронных сетей для задач обработки аудиовизуаль-
      

2. 
   Сверточные нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
   
3. 
   Рекуррентные нейронные сети 10
   
4. 
   Генеративно-состязательные нейронные сети 12
   
5. 
   Методы представления аудиоинформации 13
   
6. 
   Существующие наборы данных в области обработки аудиовизуальной инфор- мации 15
   
7. 
   Цели и задачи учебно-исследовательской работы 16
   
8. 
   Выводы 16
   
1. 
   Метод генерации аудиоинформации на основе видеозаписи 18
   
   1. 
      Постановка задачи 18
      
   2. 
      Нейросетевая модель генерации аудиоинформации на основе видеоинформации 18
      
      1. 
         Тренировка и использование генератора 18
         
      2. 
         Тренировка и использование дискриминатора 20
         
   3. 
      Архитектура нейросетевых моделей используемых для генерации аудиоинфор- мации на основе видеоинформации 21
      
      1. 
         VideoEncoder 21
         
      2. 
         AudioEncoder 22
         
      3. 
         Дискриминатор 23
         
      4. 
         Генератор 23
         
   4. 
      Выводы 25
      
2. 
   Построение модуля генерации аудиоинформации на основе видеозаписи 26
   
   1. 
      Требования к модулю генерации аудиоинформации на основе видеозаписи 26
      
   2. 
      Выбор инструментальных средств для разработки модуля генерации аудиоин- формации на основе видеозаписи 26
      
   3. 
      Реализация программного модуля генерации аудиоинформации на основе ви- деозаписи 27
      
      1. 
         Обрабатывающий компонент 27
         
      2. 
         Нейросетевой компонент 28
         
   4. 
      Выводы 30
      
3. 
   Экспериментальное исследование метода генерации аудиоинформации на основе видеозаписи 31
   
   1. 
      Набор данных для проведение экспериментальных исследований 31
      
   2. 
      Экспериментальная оценка эффективности модуля метода генерации аудиоин- формации на основе видеозаписи 31
      
   3. 
      Выводы 34