Файл: Система мониторинга пожарной и медико экологической безопасности с использованием анализа видеоданных с беспилотных летательных аппаратов.pdf

92 как один мобильный сенсор эквивалентен нескольким десяткам стационарных датчиков. Вычислитель осуществляет обработку поступающей информации от подсистем датчиков для реализации алгоритмов управления движением.
На рисунке 3.12 представлена схема управления системы БПЛА.
P
МГА
Σ
Q
min
Коорд.
x
i
, y
i
для Q
min
Уравнение траектории
Q
i+1
,Q
i
ГА
Дальномер
Температура
Q
*
Q
l<l
0
t<t
0
l
t
t
l
X
n
(t)
y
n
(t)
X
p
y
p
ОЗК
Бортовой вычислитель
Логический вывод
y
i
(t)
X
i
(t)
β
1
β
2
ω
Δυ
i
Δψ
i
υ
i
*
ψ
i
*
ψ
i
*
υ
i
*
да да нет нет
МР
МПП
Рисунок 3.12 – Структурная схема системы управления БПЛА
Структура схемы и алгоритмов управления движением БПЛА в автономном режиме по скорости ῡ
i и азимуту ψ
i на i-том участке кусочно-линейной траектории позволяют осуществлять управление движением БПЛА при измерении концентрации СО в заданных точках пространства Q
i
, а также температуры t
0
и расстояния

до препятствия [53]. Построение i -го фрагмента новой траектории в форме параметрических уравнений y i
(t), x i
(t)
, где t – время, осуществляется по определению градиента концентрации по min
Q
и max
Q
При выполнении условий или
0



происходит изменение траектории по сценарию y п
(t), x п
(t) или y р
(t), x р
(t).
Параметры ПИД-регулятора Р определяются на основе минимизации отклонений реальных параметров от заданных. Для оценки ошибок при синтезе ПИД регулятора использован интегральный критерий

93
Величина ошибки не превышает 10%.
Рассмотрим алгоритм метода определения координат источника возгорания на основе системы экологического мониторинга посредством БПЛА, схема которого представлена на рисунке 3.13. Алгоритм выполняется в следующей последовательности.
1. При обнаружении повышенной концентрации СО > а в воздухе, МПП, находящаяся в точке В с координатами х
В
, у
В
, взлетает вертикально на высоту Н
0
, которая определяется параметрами патрулируемого участка и зависает на заданной высоте.
2. Кроме того, изменяется режим движения по этой окружности радиусом
R
= 5 м, на этом шаге в заданных точках, координаты которых определяются по интегрированному сигналу системы GPS и локальной навигационной системы, измеряется концентрация CO. Абсолютная погрешность определения координат точек составляет 0,3 - 0,7 м. Поэтому для получения достоверных данных БПЛА может проходить над одной точкой несколько раз.
3. На основе нескольких измерений концентрации CO в заданной точке бортовой компьютер определяет средние значения концентрации в заданных точках.
4.
Бортовой компьютер определяет точки с максимальной и минимальной концентрацией CO на этом круге, а затем направление движения рассчитывается относительно максимальной концентрации.
 


 




dt t
t t
1
Р
1 0
2
i i
2
i i












94
Начало нет нет
Конец
СО<

? да
1
Изменение полетного плана
2
Полет по окружности
3
Определение координаты точек i=1…8 4



3 1
j
CO
CO
tj t
Q
Q
5
Определение min i
max i
CO
CO
Q
,
Q
6
?
Q
Q
min max
CO
CO



?
7
Определение траектории прямой
8
Полет по определенной траектории
9
Задержка
10 да
Рисунок 3.13 – Блок-схема метода обнаружения координат пожара

95 5. Выбор траектории движения по горизонтальной прямой на расстояние
L=10…20м в точку с координатами x
1
, y
1
в направлении максимальной концентрации СО. МПП останавливается и зависает на некоторой высоте H
1
, если в качестве БПЛА используется квадрокоптер.
6.
Переключение режима на движение по окружности по пп.1…4.
Переключение режима на движение по окружности, в заданных точках которой осуществляется измерение концентрации СО, осуществляется блоком сравнения. Блок сравнения определяет точки с максимальной СО
max и минимальной СО
min концентрациями СО. Если СО
max
– СО
min меньше некоторого положительного числа, процесс движения останавливается и координаты x
2
, y
2
соответствуют координатам источника токсичного газа с максимальной абсолютной погрешностью 5 м.
Если дымовая точка расположена за пределами периметра АТЕ, то БПЛА должен изменить программу полета и двигаться по пеленгу, в качестве которого используется градиент концентрации окиси углерода. Если обнаружен источник дыма (пожара) вне периметра АТЕ по видеоданным, то оператором устанавливается такой курс следования БПЛА, чтобы он проходил в направлении на источник дыма или пожара.
Рассмотрим метод определения координат источника возгорания с помощью датчика CO и датчика температуры. На рисунке 3.14 показана схема измерения координат источника CO.
После инициализации квадрокоптер взлетает на определенную высоту, а затем движется по кругу с радиусом, оптимальным значением которого был принят радиус R = 5м. После нахождения максимального градиента концентрации движение происходит по прямой в направлении увеличения концентрации и повышения температуры. Процесс движения завершается после того, как концентрация СО и температура по траектории окружности практически не изменяются при движении по окружности. То есть источник CO и температура находятся внутри круга, а его положение определяется погрешностью, равной радиусу этого круга R.

96
R
A
Y
0
X
B
X
B
Y
B
L
θ
A
Рисунок 3.14 – Схема определения координат источника возгорания
Этот метод позволяет использовать датчик СО и датчик температуры, установленный на квадрокоптере, для определения координат источника возгорания. По возможности рекомендуется использовать GPS как средство измерения расстояний. Нормированную допустимую погрешность средств измерений, используемых в этом методе, следует рассматривать как погрешность измерения расстояния и концентрации CO. Таким образом, в качестве критерия эффективности метода мы берем площадь рисунка, на которой гарантированно находится источник возгорания. Сравнивая стационарные методы определения координат источника возгорания с МПП, можно сделать вывод, что использование предложенной системы пожарного и экологического мониторинга на базе МПП повышает точность определения координат источника возгорания.

97
3
.2.3 Подсистема анализа и классификации видеоданных
Определение дислокации пожаров с помощью компьютерного зрения с достаточной точностью и оперативностью является трудной задачей [36].
Принято, что в качестве дескрипторов для определения координат источника возгорания используется температурная карта, полученная посредством тепловизора или инфракрасной камеры. Однако на инфракрасных камерах пожарами будут выглядеть места с высокой температурой воздуха, а некоторые участки поверхности будут приняты за источники тепла только из-за особенностей отражения света. К тому же такие камеры существенно дороже.
Поэтому при использовании в мониторинге пожарной обстановки дронов, входящих в автоматизированную систему мониторинга пожарной обстановки, на их борту для поиска очага пожара целесообразно устанавливать RGB-камеры, которые используются для съѐмки всего района, а фотографии затем анализируются посредством автономных интеллектуальных агентов (АИА), построенных на основе моделей машинного обучения [64, 71, 77].
Для анализа RGB-изображений в настоящее время широко используются
СНС различной архитектуры. Однако у них имеются два существенных недостатка, которые препятствуют их использованию в автоматизированной системе оценки пожарной обстановки. Первый недостаток связан с большим потоком видеоданных, поступающих с видеокамер дрона на СНС в процессе мониторинга. Это обстоятельство не позволяет удовлетворить требования по оперативности анализа снимков. Второй недостаток СНС связан с тем, что СНС классифицирует снимок в целом, тогда как на пульт ЛПР необходимо передать координату возгорания, то есть классификация снимка должна осуществляться сегментарно, что снижает преимущества СНС при решении этой задачи.
За основу построения классификатора пожарной обстановки взят метод классификации RGB-видеоданных, поступающих от видеокамеры дрона, основанный на понятии каскадного окна [73, 76, 78]. Сущность метода

98 классификации, используемого в этой системе, состоит в том, что каждый снимок пошагово разбивается на квадратные сегменты уменьшающегося размера, которые последовательно сканируются по правилу строчной развертки. Решения по принадлежности сегмента к одному из классов пожароопасности – «пламя»,
«дым», «чисто» – принимается классификатором по дескрипторам, полученным по результатам анализа соответствующего сегмента снимка.
Таким образом, если имеет место крупный пожар, то выбор крупных сегментов вначале сканирования обеспечивает оперативность принятия решения в системе в целом. Такой подход к классификации также может обеспечить двухступенчатую классификацию, когда на более крупном масштабе выбирается область интереса (ROI), а затем эта область сканируется на более мелком масштабе [72, 75].
На выходах классификатора, построенного по предлагаемому методу, будет представлено не само искомое изображение в бинарной форме, а только класс соответствующего сегмента. При этом классификаторы выделяемых сегментов построены не на методах попиксельной классификации, а по методу сегментарной классификации таким образом, что все пиксели изображения, попавшие в выделенный сегмент, по результатам анализа которого формируются дескрипторы, относятся к одному классу.
Процедура формирования сегментов снимка заключается в том, что растровое изображение декомпозируется на некоторое количество уровней.
Каждый уровень содержит множество потомков-изображений. Изображение верхнего уровня является «материнским» изображением для множества изображений-потомков нижнего уровня, как и изображение нижнего уровня является «материнским» для изображений следующего (нижнего по отношению к этому изображению) уровня [10].
На рисунке 3.15 представлена схема сегментации аэроснимка. На первом уровне имеем четыре сегмента. Например, в качестве способа декомпозиции может быть использовано правило «2 2n
». Это значит, что на первом уровне имеем
4 изображения-потомка, на втором – 16, на третьем – 64 и т.д. [9]. Для того, чтобы

99 отобразить классы опасности на исходном (не сегментированном) снимке, сегменты кодируются. Рисунок 3.15 иллюстрирует принцип кодирования сегментов. Код сегмента записан внутри каждого сегмента.
Рисунок 3.15 – Схема формирования сегментов снимка
На втором уровне имеем шестнадцать сегментов. Если быть более точным, то каждый сегмент на определенном уровне разбивается на четыре сегмента.
Сегменты имеют одинаковые размеры. Каждый сегмент, в зависимости от решения ЛПР, которое определяется спецификой объекта мониторинга и уровнем пожароопасности, классифицируется либо на два класса: «ROI» и «НЕ ROI», либо

100 на три вышеупомянутых класса, характеризующих конкретный класс пожароопасности обстановки в сегменте снимка. Если принимается решение, что этот сегмент «ROI», то он переводится на следующий уровень с последующим делением на четыре одинаковых сегмента, а если классифицируется как «НЕ
ROI», то осуществляется переход на классификацию следующего сегмента.
Каждый сегмент в полученной иерархии кодируется соответствующим числом, которое описывает его статус в этой иерархии, то есть его отношение к сегментам предшествующего (вышестоящего) уровня. Для каждого уровня декомпозиции формируется свой АИА. Агрегирование их решений осуществляет
«сильный» классификатор.
Учитывая, что представленная на рисунке 3.15 схема сегментации предназначена для фильтрации снимков видеопоследовательности, ограничимся двумя уровнями сегментации. При этом в каждом снимке максимальное количество сегментов не превышает шестнадцати. На рисунке 3.16 представлена структура сегментации снимка в предельном случае. В принципе, максимальное число уровней сегментации может быть увеличено, в зависимости от площади обзора видеокамеры и требования к программным средствам по быстродействию.
В качестве критерия отнесения сегмента к классу ROI определяем показатель превышения его фоновой яркости над фоновой яркостью материнского сегмента. Если это условие выполняется, то сегмент-потомок переходит на следующий уровень, то есть делится на четыре новых сегмента.
Управляя величиной порога, можно управлять соотношением между чувствительностью и специфичностью алгоритма декомпозиции. Также величина порога T
пор
может быть глобальной или задаваться на каждом уровне декомпозиции. Условие принадлежности сегмента к классу ROI записывается как пор
T
S
S
i

,
(3.5)

101 где S
i
– фоновое значение яркости в сегменте-потомке, S – фоновое значение яркости в материнском сегменте.
Рисунок 3.16 – Схема декомпозиции снимка видеоролика
Схема алгоритма формирования сегментов в снимке видеопоследовательности представлена на рисунке 3.17. В блоках 1 и 2 вводится порог и сам снимок из видеоролика. В блоке 3 определяется фон в исходном снимке. Затем снимок декомпозируется на четыре сегмента-потомка (блок 4). Так как потомка четыре, то в цикле (блок 5) осуществляется поиск сегментов- потомков, принадлежащих ROI. Если среди этих потомков находится потомок
ROI
, то он переходит на второй уровень и также осуществляется его декомпозиция на четыре потомка (блоки 8, 9, 10, 11). Так как это последний уровень декомпозиции, то координаты сегментов ROI формируют соответствующее множество (блок 12). Возможна ситуация, когда для сегмента
ROI первого уровня не удается выполнить декомпозицию на втором уровне (блок
13). Тогда в множество ROI записываются координаты сегмента первого уровня
(блок 14).

102
Рисунок 3.17 – Схема алгоритма формирования сегментов (начало)
Начало
Вводим глобальный порог
Вводим снимок из видеоролика
=
1 3
Устанавливаем границы квадрантов
Определяем глобальный фон
Делим снимок на четыре равных сегмента
P
4 2
= 1, 4 5
=
1
Определяем фон i- го сегмента
3
Т
пор
1 2
1 6
4

103
Рисунок 3.17 – Схема алгоритма формирования сегментов (продолжение)
Делим i-й сегмент на четыре равных сегмента
=
1
????
10
Устанавливаем границы квадрантов
8 7
7 6
5 3
2 1
= 1, 4 9
????
11 12 4
8 да нет нет да

104
Рисунок 3.17 – Схема алгоритма формирования сегментов (окончание)
Пример декомпозиции снимка с фрагментом пламени представлен на рисунке 3.18. Исходное изображение разбивается на четыре сегмента исходя из геометрических размеров снимка, что осуществляется в блоке 4 алгоритма. Затем для каждого из четырех полученных сегментов проверяется условие (3.5).
Рисунок 3.18 – Пример сегментации снимка на первом уровне декомпозиции
Объединяем границы сегментов S
ij и
S
i(j+1)
i+j
ROI
19 12 10 9
20 13 да нет
11 14

105
На следующий уровень декомпозиции – второй переходят не все сегменты, а только те сегменты, для которых выполняется условие (3.5). Это условие выполняется для сегмента №1 (рисунок 3.18), поэтому он переходит на второй уровень декомпозиции, где в блоке 8 он также делится на четыре сегмента
(
рисунок 3.19).
Рисунок 3.19 – Декомпозиция сегмента №1 на втором уровне
Затем в блоке 11 устанавливается принадлежность сегментов второго уровня к классу ROI. После просмотра сегментов второго уровня формируется множество ROI. При необходимости элементы этого множества могут объединяться. Для выполнения этой процедуры в алгоритм включены блоки
15…20. Сущность процедуры объединения сегментов состоит в том, что если сегменты класса ROI имеют общую границу, то она может быть устранена, и размер сегмента класса ROI увеличится по соответствующей координате. Процесс увеличения размера сегмента представлен в виде двух этапов на рисунке 3.20.
Рисунок 3.20 – Иллюстрация двух этапов увеличения размера сегмента, выполняемого в блоке 20