Файл: Система мониторинга пожарной и медико экологической безопасности с использованием анализа видеоданных с беспилотных летательных аппаратов.pdf

125 помощью сервиса ввода-вывода, представленного в виде всплывающих и раскрывающихся окон, что обеспечивает ЛПР возможность загружать снимки в форматах jpeg, png и др. Сервис ввода-вывода используется также для селекции релевантных спектральных коэффициентов в окнах трех типоразмеров, что позволяет сформировать векторы информативных признаков «слабых» классификаторов значительно меньшей размерности.
Рисунок 4.6 – Модульная структура программного обеспечения для классификации снимков видеоряда
Для обучения классификаторов использовалась база данных, содержащая сегменты дискриминируемых классов. Размеры сегментов задавались 32х32 пикселя. В принципе, программное обеспечение построено так, что сегменты могут быть любого размера. Однако настройка классификатора требует одинаковых размеров сегментов.

126
Спектральные коэффициенты Уолша-Адамара, по которым осуществляется идентификация интересующего нас класса, формируют входные векторы
«слабых» классификаторов
(дескрипторы). Координаты спектральных коэффициентов, принимающих участие в формировании входного вектора
«слабого» классификатора, будем называть локализацией «слабого» классификатора.
На рисунке 4.7 представлен интерфейс ПО для создания базы данных (БД) обучающих и контрольных выборок.
Исходный снимок разбивается на сегменты квадратной формы с размерами, кратными двум. Затем ЛПР устанавливает флажок индикатора класса (на рисунке 4.7 это класс «пламя») и указателем
«мыши» помечает тот сегмент, который относится к данному классу. Помеченные сегменты отправляются в папку БД, в которой хранятся сегменты данного класса.
Рисунок 4.7 – Интерфейс программного обеспечения для создания базы данных обучающих выборок
Основные вычислительные процедуры реализованы следующими решающими модулями:
- модуль вычисления преобразования Уолша-Адамара;
- модуль формирования окон внутри сегмента;
- модуль селекции дескрипторов;

127
- модуль формирования решающих правил (синтеза классификатора).
Модуль формирования окон из исходного сегмента делит сегмент на окна заданных размеров согласно схеме, представленной на рисунке 4.5. Пиксели в этих окнах обрабатываются в модуле вычисления преобразования Уолша-
Адамара. По вычисленным двумерным спектрам Уолша-Адамара осуществляется формирование дескрипторов для обучающих выборок или для классификатора сегмента. Результаты вычисления спектра Уолша-Адамара в окнах сегмента, передаются через интерфейс доступны ЛПР. На рисунке 4.8 представлен интерфейс ПО и его основные элементы.
Рисунок 4.8 – Основные элементы интерфейса: 1 – выделенный сегмент класса 1, 2- выделенный сегмент класса 2, 3 - разность между спектрами Уолша-
Адамара в окне №1 и в окне №2 для поиска информативных спектральных коэффициентов, 4 - окно №1, 5 - окно №2, 6 – спектр Уолша-Адамара окна №1, 7 - спектр Уолша-Адамара окна №2
В этом интерфейсном окне из исходного снимка вырезаны сегмент №1
(класс интереса) и сегмент № 2 – индифферентный класс, рассчитаны их

128 двумерные спектры Уолша-Адамара (показаны в окнах 6 и 7, а изображения самих сегментов показаны в окнах 4 и 5). Сегмент №2 по размеру совпадает с сегментом №1, поэтому мы можем сопоставлять их спектры. Спектры этих сегментов представлены в правой части рисунка 4.8 и отмечены номерами 6 и 7.
По найденной разности между спектром в окне №1 и спектром в окне №2
(окно 3 на рисунке 4.8) можем осуществить поиск информативных спектральных составляющих для «слабых» классификаторов класса интереса. В результате, технология поиска дескрипторов для «слабого» классификатора состоит в анализе спектральных коэффициентов в окнах, содержащих морфологические компоненты искомого класса, и нахождении их отличий от спектральных коэффициентов в окнах, не содержащих таких морфологических компонент. Цель поиска – селектировать только значимые спектральные коэффициенты в окне по пороговому и информационному критериям. В качестве примера на рисунке 4.9,б показано окно размером 32х32 пикселя, содержащее сегмент снимка класса
«пламя» (на рисунке 4.9,а границы этого сегмента на снимке показаны красной окружностью), и соответствующий спектр Уолша-Адамара этого фрагмента представлен на рисунке (в). а) б) в)
Рисунок 4.9 – Аэроснимок с сегментом класса «пламя»: дислокация сегмента указана красной окружностью (а), соответствующее содержимое сегмента класса «пламя» (б) и спектр Уолша-Адамара этого сегмента (в)

129
На рисунке 4.10 показано окно размером 32х32 пикселя (б), содержащее сегмент того же снимка (а) индифферентного класса, которому соответствует спектр Уолша-Адамара (в). а) б) в)
Рисунок 4.10 – Аэроснимок с сегментом индефферентного класса: дислокация сегмента указана красной окружностью (а), соответствующее содержимое сегмента индефферентного класса (б) и двумерный спектр Уолша-
Адамара этого сегмента (в)
Нулевой элемент спектра Уолша-Адамара, который расположен в левом верхнем углу спектрального окна, соответствует фоновой яркости пикселей средней яркости пикселей в окне (пиксели в окне взвешиваются с нулевой функцией Уолша, которая равна единице).
4.3 Оценка качества классификации сегментов аэроснимков видеоряда
Основной задачей, поставленной в исследовании, является дискриминация сегментов с морфологическими образованиями «пламя», «дым» и индифферентного класса.
Так как в классифицируемый сегмент вписываются окна трех типоразмеров
-
8х8, 1616, 3232 пикселя, в которых вычисляются двумерные спектры Уолша-
Адамара, то имеем три вида обучающих выборок, каждый пример в которых

130 характеризуется векторами одинаковой размерности. Следовательно, для каждой из трех обучающих выборок строим свой классификатор, который принимает независимое решение по отнесению сегмента к определенному классу. Решение этих трех классификаторов агрегируется также независимым классификатором, построенным на основе технологий обучаемых НС или нечеткого логического вывода [43, 66, 72, 79]. Один из примеров структуры такого классификатора представлен на рисунке 4.11.
Рисунок 4.11 – Блочная диаграмма классификатора сегмента
Особенностью данной структуры является то, что три автономных агента на нижнем иерархическом уровне используют одни и те же «сырые» данные и формируют на основе их анализа векторы дескрипторов одинаковой размерности: вектор X1 – это коэффициенты Уолша-Адамара 16 окон размером 8х8, вектор X2
–коэффициенты Уолша-Адамара четырех окон размером 1616, вектор X3 –
коэффициенты Уолша-Адамара в окне 3 (рисунок 2) размером 3232 пикселя.
При формировании векторов X1…X3 спектральные коэффициенты нормируются на среднюю яркость в сегменте снимка, по спектральным

131 коэффициентам которого формируются входные векторы «слабых» классификаторов. При этом необходимо учитывать, что нулевой спектральный коэффициент, расположенный в верхнем левом углу спектральной плоскости
Уолша-Адамара, равен средней яркости изображения в окне.
Для проведения экспериментальных исследований были использованы видеопоследовательности из баз данных Bilkent [88]. Кадры некоторых использованных снимков из видеороликов и их свойства приведены в таблице 4.2.
Таблица 4.2 – Примеры тестовых снимков из базы данных Bilkent

132
Целью экспериментальных исследований был анализ показателей качества классификации классификаторов снимков с сегментами класса «дым» и «пламя».
При этом возгорание считалось обнаруженным, если хотя бы один искомый сегмент класса «дым» или «пламя» найден на аэроснимке. Обучающая выборка видеоизображений (кадров видеопоследовательностей) включает в себя 2000 примеров. Количество сегментов класса «пламя» в обучающей выборке для видеопоследовательностей с пламенем составило 7000, класса «дым» – 5000, индифферентный класс
–
6500.
Общая продолжительность видеопоследовательностей составила около 20 минут.
Для оценки качества работы предложенного метода использованы показатели: точность – TR (рассчитывается как отношение сегментов, класс которых определен правильно, к общему числу классифицируемых сегментов), чувствительность (показатель ошибок первого рода) – S (отношение правильно классифицированных сегментов заданного класса к общему числу сегментов этого класса в контрольной выборке характеризует ложно отрицательное срабатывание решающего правила), специфичность (показатель ошибок второго рода) – Sp (отношение правильно классифицированных сегментов индифферентного класса к общему числу сегментов этого класса в контрольной выборке характеризует ложно положительное срабатывание решающего правила).
В контрольную выборку видеопоследовательностей входили снимки, на которых присутствовали сегменты различных классов (таблица 4.2). На некоторых снимках имелся сложный динамический фон, который отражался на классифицируемых сегментах. На некоторых кадрах присутствовали одновременно классы сегментов «пламя» и «дым», например, Bilkent\controlled2 кадр 101 и Bilkent\fire1кадр 439 (таблица 4.2). Если хотя бы один из сегментов снимка был отнесен к классу «пламя», то снимок определялся как снимок с пламенем.
В таблице 4.3 приведены результаты экспериментальных исследований показателей качества классификации двухальтернативного классификатора, настроенного на дискриминацию класса «пламя» и индифферентного класса.

133
Таблица 4.3 – Показатели эффективности метода для класса «пламя» на контрольной выборке
Класс
S, %
Sp, %
TR, %
Кол-во сегментов
Пламя
89,5 95,5 89,5 280
Индифферентный
95 90 320
В таблице 4.4 приведены результаты экспериментальных исследований показателей качества классификации при обнаружении дыма в сегментах аэроснимков. Как и при обнаружении пламени, сегменты снимков видеоряда разделены на две группы: сегменты, содержащие дым, и без него
(индифферентный класс).
Таблица 4.4 – Показатели эффективности метода для класса «дым» на контрольной выборке
Класс
S, %
Sp, %
TR, %
Кол-во сегментов
Дым
86 87 86,2 300
Индифферентный
85 86 320
Критерием достоверности отнесения сегмента классификатором к определенному классу считали результаты классификации аэроснимка, выполненные двумя ЛПР.

134
4.4 Выводы четвѐртого раздела
1.
Показано, что в мобильную систему мониторинга, раннего обнаружения и оценки пожарной опасности целесообразно включать группировку беспилотных летательных аппаратов, оснащенных многофункциональной приборной платформой с размещенными на ней газовыми датчиками, видеокамерами о навигационным оборудованием. Для организации съема информации с датчиков задымления и вредных веществ, выделяемых в процессе горения (СО, СО
2
, фенолы, формальдегиды), и датчиков температуры предложено использовать специализированные микрочипы (аналоговые интерфейсы типа AFE), которые кроме регистрации информации с датчиков решают задачи усиления, масштабирования, аналоговой и цифровой фильтрации, формирования стандартных протоколов для подключения к микроконтроллерам, контроля работоспособности и калибровки датчиков и др. Предложены варианты структур мобильной приборной платформы.
Разработан алгоритм управления беспилотным летательным аппаратом в автономном режиме, позволяющий формировать команды управления на основе анализа сигналов с датчиков концентрации вещества, а траекторию движения планировать в направлении максимальной концентрации контролируемого вещества. Алгоритм предусматривает также возможность облета препятствий и областей с температурой, способной вывести из строя бортовое оборудование.
Выбраны показатели качества для мобильных приборных платформ и осуществлена экспертная оценка вариантов их эффективности по девяти показателям качества с последующим построением циклограмм и определением интегральных показателей качества рассматриваемых вариантов мобильных приборных платформ.
2.
Разработан метод классификации морфологических образований на аэроснимках, полученных при мониторинге автономных территориальных единиц

135 посредством БПЛА. Метод основан на определении дескрипторов выделенных прямоугольных сегментов заданных размеров посредством определения спектров
Уолша-Адамара в трех типоразмерах окон, сформированных в этом сегменте.
Метод позволяет настраивать (обучать) классификаторы на дифференциальную диагностику сегментов на снимках видеоданных, полученных с видеокамер
БПЛА.
3.
На основе выбранных критериев качества классификации проведена апробация классификаторов по разделению сегментов класса «пламя» и сегментов индифферентного класса, а также класса «дым» и сегментов индифферентного класса
4.
Создана база данных с сегментами изображений видеопоследовательностей, в которую вошли сегменты трех классов: «дым»,
«пламя» и индифферентный класс. Обучены два двухальтернативных классификатора сегментов изображений видеоряда: «дым»/индифферентный класс, «пламя»/индифферентный класс. Проведены экспериментальные исследования по оценки качества классификации снимков видеопоследовательностей посредством обученных нейросетевых классификаторов сегментов изображения. Чувствительность классификатора
«дым»/индифферентный класс составила 0,86, а число ложноположительных результатов не превысило
13%.
Чувствительность классификатора
«пламя»/индифферентный класс составила 0,895, а число ложноположительных результатов не превысило 4,5%. Таким образом, экспериментальные исследования подтверждают эффективность предложенного метода обнаружения пламени и дыма на сегментах аэроснимков, полученных при мониторинге автономных территориальных единиц.

136