Файл: Направление подготовки 09. 03. 04 Программная инженерия.docx

ПустьмыимеемвидеоI.Видеоимеетвидтензораранга4сразмерами(T,H,W,3),гдеT- длительность видео, H- высота изображения, W- ширина изображения, 3 - отображает трехка- нальный способ кодирования цвета каждого пикселя изображения. Необходимым результатом являетсяфункцияΦ :I→M,гдеM -мел-спектрограмма,соответствующаявидеоI.мел- спектрограммапредставляется в виде матрицы с размерами (B,F), где B - количество мел фильтров, F - количество временных окон.Под мел-спектрограммой, соответствующей видео, мы понимаем мел-спектрограмму, опи- сывающую аудиосигнал, природа которого может быть подтверждена визуально (то есть собы- тие, которые вызвало данный звук, изображено на видео).ВкачествеапроксиматорафункцииΦможетвыступатьнейроннаясеть.Дляеёобучения будетиспользоватьсявизуальнаяиаудиоинформацияизвидео.Следуетотметить,чтопосту- пающаяаудиоинформациясодержитA^ˆ-аудиоинформация,несоответствующаявидео,иA^˜-аудиоинформация,соответствующаявидео,приэтомнейросетеваямодельдолжнагенериро- вать только A^˜.

2. 1   ...   4   5   6   7   8   9   10   11   ...   15

---

Нейросетевая модель генерации аудиоинформации на основе видеоин- формации

Для реализации поставленной задачи используется архитектура генеративно-состязательный нейронных сетей, то есть основными модулями будут выступать генератор - нейронная сеть, создающая мел-спектрограммы, и дискриминатор - нейронная сеть, оценивающая подлин- ность входной спектрограммы, и возвращающая оценку от нуля до единицы.

1. 
   Тренировка и использование генератора
   

На этапе тренировки генератор использует видео- и аудиоинформацию, данный подход был выбран исходя из предположения, что для более эффективного сопоставления данных нейронная сеть должна анализировать оба источника информации одновременно.Перед поступлением в генератор (или дискриминатор) данные проходят обработку в соот- ветствующихкодировщиках(тоженейронныесети)AudioEncoderиVideoEncoder,исисполь-зованием генератора (или дискриминатора) декодируются в необходимый формат. Подобный подход к обработке данных изначально был представлен в архитектуре UNet и на практике доказал свою эффективность [38].Ошибкадлятренировкигенератора(2.3)определяетсяпутемкомбинацииоценкидискри- минатора(BCE2.1)ирасхождениисгенерированнойиоригинальнойспектрограммы(MSE2.2). Данныйподходбылвыбранисходяизгипотезы,чтонаначальныхэтапахмыбудемполучать большое расхождение сгенерированной и оригинальной спектрограммы, что побудит нейрон- ную сеть быстрее адаптировать под необходимый формат данных, а на поздних этапах обуче- нияглавнуюрольбудетигратьоценка

---

дискриминатора, благодаря которой будут генериро- ваться более релевантные видео спектрограммы.
generator bce = −1 log(p) (2.1)

где p - оценка дискриминатора. В нашем случае бинарная кросс-энтропия принимает та- кой вид, потому что при тренировке генератора мы в качестве метки класса всегда передаем единицу (то есть мел-спектрограмма верна).

В процессе использование генератора вместо оригинальной мел-спектрограммы на вход будет подаваться матрица, соответствующая размерам оригинально спектрограммы, но состо- ящая из нулей.Рис.2.2–Процессиспользованиягенератора

2. 
   Тренировка и использование дискриминатора
   

Дискриминатор,аналогичногенератору,навходпринимаетвидео-иаудиоинформацию, причем и в случае тренировки, и в случае использование.На каждой итерации тренировки дискриминатору необходимо оценить оригинальную и поддельнуюмел-спектрограммувкомбинации

---

с оригинальным видео. Ошибка дискримина- тора (2.4) формируется путем комбинации его ошибок в случае определения оригинала и под- делки - таким образом мы стремимся ускорить тренировку дискриминатора в направлении двух решаемых им задач.

В данном случае ошибки считаются по классической формуле бинарной кросс-энтропии (2.5), где в одном случае в качестве метки выступает единица (спектрограмма подлинная) и ноль (спектрограмма поддельная).

Для создания поддельной спектрограммы мы используем наш генератор, таким образом придерживаясь оригинальной идеи генеративно-состязательных нейронных сетей о одновре- менной тренировке дискриминатора и генератора.
discriminator loss = fake bce + real bce (2.4)
bce = −y log(p) + (1 − y) log(1 − p) (2.5) где y - метка спектрограммы, p - оценка дискриминатора.

Процесс тренировки дискриминатора полностью изображен на рисунке 2.3.



Рис. 2.3 – Процесс тренировки дискриминатора

3. 1   ...   5   6   7   8   9   10   11   12   ...   15

---

Архитектура нейросетевых моделей используемых для генерации аудио- информации на основе видеоинформации

Основными моделями обработки данных являются кодировщики AudioEncoder и VideoEncoder, которыепреобразуютвходныеданныевматрицы,впоследствиииспользуемыегенератором.

1. 
   VideoEncoder
   

VideoEncoder на вход принимает видео в формате последовательности изображений, каж- доеизображениеобрабатываетсяслоямидвумернойсвертки вкомбинациисLeakyReLU.Функ- ция активации ReLU представляет собой непрерывную функцию, состоящую из двух линейных сегментов (2.6). Её производная не непрерывна, но на практике это не создает проблемы. На самом деле, поскольку вычисление производной данной функции происходит немедленно, активация ReLU широко используется и позволяет процессам обучения сходиться значитель-но быстрее [39]. LeakyReLU (2.7) обладает теми же преимуществами, что и ReLU, но при этом избегает потерю информации.

---