Файл: Ванюков А. В. Плавка в жидкой ванне.pdf

487 блоку P06 через порт COM3 по интерфейсу RS–485 подключены 176 интеллек- туальных датчиков температуры ТСТ11 для контроля контуров охлаждения. Су- ществующие датчики с аналоговым и дискретным выходным сигналом подклю- чаются к модулям ввода-вывода ТЕКОНИК® (до 10 типов модулей для различ- ных типов датчиков и исполнительных механизмов), а сами модули формируют цифровую сеть через порт COM2 с интерфейсом RS – 485. Далее технологиче- ские данные поступают в существующую АСУ ТП.
Использование ТСТ11 позволяет повысить точность измерений и получить существенную экономию на монтажных работах. Значительно облегчается со- здание температурного контроля в случаях, когда затруднена прокладка кабель- ных трасс для традиционных датчиков, что особенно характерно для рассматри- ваемой системы.
Список использованных источников
1. Ванюков А.В. Плавка в жидкой ванне. – М.: Металлургия, 1988. – 207 с.
2. Кривандин В.А. Теплотехника металлургического производства. Т. 2.
Конструкция и работа печей: Учебное пособие для вузов / Под ред. В.А. Криван- дина]. –М.: МИСИС, 2001. –736 с.
3. Филимонов Д.А. Система интеллектуальных модулей ТЕКОНИК®
[Электронный ресурс] // Отраслевой научно-технический журнал «ИСУП». –
2007. – Режим доступа: http://isup.ru/articles/4/264.
4. Шишов О.В. Интеллектуальные датчики в системах промышленной авто- матизации [Электронный ресурс] // Электронное научное издание "Электроника и информационные технологии". – 2011, выпуск 2 (11). – Режим доступа: http://fetmag.mrsu.ru.
УДК 004-04
В. И. Переплетчиков, В. Ю. Носков
93
ФГАОУ ВО «Уральский федеральный университет имени первого Президента России Б.Н. Ельцина», г. Екатеринбург, Россия
РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ СБОРА
И АНАЛИЗА ДАННЫХ МЕТЕОРОЛОГИЧЕСКИХ СЕРВИСОВ
НА ОСНОВЕ ТЕХНОЛОГИЙ BIG DATA
Аннотация
В докладе рассматривается разработка системы анализа и сравнения точности про-
гнозов, предоставляемых он-лайн погодными сервисами с помощью технологий Big Data.
Погода и климат давно стали категориями экономическими. Каждый год стихийные
бедствия уносят около 250 000 человеческих жизней, размер ущерба, наносимого имуществу,
лежит в пределах 50-100 млрд. долларов США. Но мировая статистика показывает: если
доверять гидрометеорологической информации и адекватно на нее реагировать, то можно
93
© Переплетчиков В. И., Носков В. Ю., 2018

488
предотвратить от 30 до 40 % потерь и полностью избежать человеческих жертв [1]. Осо-
бенно заметный экономический эффект дает использование метеорологической информации
в авиации, энергетике, строительстве, рыболовстве и судоходстве, сельском хозяйстве. По-
вышение точности прогноза позволяет уменьшить вероятность смертельных случаев во
время стихийных бедствий и эффективнее предотвращать экономический и материальный
ущерб.
Big Data
–
совокупность подходов, инструментов и методов обработки структуриро-
ванных и неструктурированных данных огромных объёмов и значительного многообразия для
получения воспринимаемых человеком результатов, эффективных в условиях непрерывного
прироста, распределения по многочисленным узлам вычислительной сети [2].
Ключевые слова: Big Data, Apache Hadoop, MapReduce, CDH, Apache Hive, Apache Pig,
HDFS, Cloudera.
Abstract
The report discusses the development of a system of analysis and comparison of the accuracy
of forecasts provided by on-line weather services using Big Data technologies.
Weather and climate have long been economic categories. Each year, natural disasters claim
about 250,000 lives and damage to property amounts to between $ 50 billion and $ 100 billion. How-
ever, world statistics show that if you trust hydrometeorological information and respond adequately
to it, you can prevent from 30 to 40 % of losses and completely avoid human casualties [1]. The use
of meteorological information in aviation, energy, construction, fishing and navigation, agriculture
has a particularly noticeable economic effect. Improved forecast accuracy reduces the risk of death
in natural disasters and more effectively prevents economic and physical damage.
Big Data − a set of approaches, tools and methods for processing structured and unstructured
data of huge volumes and a significant variety to obtain human-perceived results, effective in condi-
tions of continuous growth, distribution across multiple nodes of the computer network [2].
Key words: Big Data, Apache Hadoop, MapReduce, CDH, Apache Hive, Apache Pig, HDFS,
Cloudera.
Постановка задачи, выбор технологий и средств реализации информацион-
ной системы. В ходе выполнения данной работы необходимо собрать данные о прогнозах погоды, предоставляемые различными сервисами.
При выборе сервисов использовались следующие критерии:

сервис должен иметь API, позволяющий получать данные в виде структу- рированного файла (XML, JSON, CSV и др.);

API должен быть свободно распространяемым;

API должен быть доступен круглосуточно.
Для собранных прогнозных данных требуется провести сравнение с истин- ными (зафиксированными) показателями погодных условий. Для температурных показателей и силы ветра – рассчитать по каждому сервису среднеквадратичное отклонение прогнозного значения от зафиксированного. Для осадков – рассчи- тать вероятность ошибки в предсказании осадков. Также можно провести срав- нение фактических значений по версии метеорологических сервисов с истин- ными значениями.
В соответствии с постановкой задачи были выбраны следующие сервисы для получения данных посредством API:

Метеосервис.ру (meteoservice.ru);

OpenWeatherMap (openweathermap.org);

World Weather Online (worldweatheronline.com);

489

AccuWeather (accuweather.org).
Для реализации проекта выбран фреймворк Apache Hadoop, реализующий методологию Big Data.
Apache Hadoop – это программный проект с открытым исходным кодом, ре- ализующий модель MapReduce и предназначенный для эффективной обработки больших пакетов данных. Вместо одного большого компьютера для обработки и хранения данных Hadoop предлагает использовать для параллельного анализа огромных пакетов данных кластеры на базе стандартного аппаратного обеспече- ния [4].
Проектирование и реализация программного обеспечения. В составе инфор- мационной системы используются следующие компоненты:

HDFS для хранения получаемых данных;

Модель MapReduce для обработки данных;

Apache Pig для очистки и нормализации данных;

Apache Hive для анализа собираемой информации;

Cloudera Hue для визуализации данных.
HDFS(англ. Hadoop Distributed File System) – файловая система, предназна- ченная для хранения файлов больших размеров, поблочно распределённых между узлами вычислительного кластера. Благодаря репликации обеспечивается устойчивость распределённой системы к отказам отдельных узлов. Организация файлов в пространстве имён – традиционная иерархическая: есть корневой ката- лог, поддерживается вложение каталогов, в одном каталоге могут располагаться и файлы, и другие каталоги [5].
MapReduce – это модель распределенной обработки данных, предложенная компанией Google для обработки больших объёмов данных на компьютерных кластерах [3]. Схема работы MapReduce приведена на рисунке 1.
Рис. 1. Схема работы MapReduce
MapReduce предполагает, что данные организованы в виде некоторых запи- сей. Обработка данных происходит в три стадии:
1) стадия Map. На этой стадии происходит предобработка данных при по- мощи функции map(), которую определяет пользователь;
2) стадия Shuffle. В этой стадии вывод функции map разбивается по блокам
– каждый блок соответствует одному ключу вывода стадии map;

490 3) стадия Reduce. Каждая «корзина» со значениями, сформированная на ста- дии shuffle, попадает на вход функции reduce(). Множество всех значений, воз- вращённых функцией reduce(), является финальным результатом MapReduce-за- дачи.
Apache Hive – это система хранилища данных для Hadoop. Hive позволяет обобщать, запрашивать и анализировать данные. Запросы Hive создаются на языке запросов HiveQL, который похож на SQL, т.е. Hive представляет из себя инструмент, который превращает SQL-запросы в цепочки MapReduce задач [6].
Apache Pig – это платформа для анализа наборов данных больших объёмов, которая состоит из высокоуровневого языка для написания программ анализа данных, а также инфраструктуры, преобразующей код в последовательность
MapReduce-задач [7]. В Apache Pig используется язык Pig Latin, который харак- теризуется следующими ключевыми свойствами:

простота программирования;

возможности оптимизации;

пользователи могут создавать свои собственные функции для специаль- ных целей.
Cloudera Hue – свободно распространяемый программный продукт с отры- тым исходным кодом, предназначенный для анализа и визуализации данных. Это легковесный веб-сервер, который предоставляет возможность использовать
Hadoop напрямую из браузера и который может быть установлен на любую ма- шину Hadoop-кластера.
После выбора компонентов для реализации ИС была разработана структура для хранения и дальнейших манипуляций с полученной информацией. Был со- здан ряд таблиц для выбранных сервисов:
1. С прогнозами он-лайн сервисов:
1) OpenWeather (openweathermap.org);
2) AccuWeather (accuweather.org);
3) World Weather Online (worldweatheronline.com);
4) Метеосервис.ру (meteoservice.ru).
2. С фактическими (измеренными) значениями от он-лайн сервисов:
1) OpenWeather (openweathermap.org);
2) AccuWeather (accuweather.org);
3) World Weather Online (worldweatheronline.com).
Полученные данные содержат избыточную информацию и не структуриро- ваны. В связи с этим возникает необходимость структурирования данных перед записью в БД. Для этого используется высокоуровневый язык обработки Pig
Latin.
Скрипт обработки данных принимает на вход исходный файл и схему дан- ных – описание полей фрагмента данных, которые впоследствии будут конвер- тированы в строку. Далее полученные фрагменты проходят обработку, к ним до- бавляются дополнительные поля и результаты работы скрипта загружаются в промежуточный файл, который впоследствии будет передан в БД. Блок-схема работы скрипта приведена на рисунке 2.

491
Рис. 2. Блок-схема работы скрипта
После разработки скриптов была определена периодичность их запуска
(таблица).
Периодический запуск скриптов производится системной утилитой cron из состава операционной системы CentOS.
На рисунке 3 представлен пример визуализации HiveQL-запроса, выбираю- щего фактические температуры воздуха 13 апреля 2018 г. по версии сервисов
AccuWeather, World Weather Online и OpenWeather.
На основании данного графика можно сделать вывод, что даже фактические данные достаточно сильно (на несколько градусов) отличаются у представлен- ных сервисов.
Таблица
Периодичность запуска скриптов сбора данных
Тип данных
Имя сервиса
Периодичность запуска, часов
Прогноз
OpenWeather
AccuWeather
World Weather Online
Метеосервис.ру
12
Фактические данные OpenWeather
World Weather Online
1
AccuWeather
24

492
Рис. 3. Визуализация HiveQL-запроса
Возможности разработанной системы. Разработанная информационная система обладает следующими возможностями:

сбор данных. Анализируемые данные поступают в систему с разной пе- риодичностью;

отказоустойчивое хранение. Использование HDFS позволяет организо- вать отказоустойчивое хранение информации без использования дополнитель- ных программных и аппаратных решений;

очистка и нормализация данных. Собираемые данные представлены раз- личными форматами и нуждаются в предварительной очистке и нормализации.

анализ и визуализация данных. Для создания выборок данных использу- ется лежащий в основе Apache Hive язык HiveQL, позволяющий анализировать данных с помощью SQL-запросов. Использование Cloudera Hue позволяет пере- нести взаимодействие с пользователем из консоли в дружественный веб-интер- фейс.
Планы по развитию функций системы. При анализе результатов установ- лено, что «фактические» данные предоставляемые сервисами, различаются. По- этому для оценки точности прогноза будут использоваться независимый источ- ник данных − архивные данные с метеостанции в г. Екатеринбург.
Также планируется выполнять периодическую проверку точности прогно- зов путем сравнения с архивными значениями за выбранный период. Это позво- лит выбрать сервисы, дающие наиболее точные прогнозы таких параметров, как температура воздуха, сила и направление ветра, вероятность и количество осад- ков и др.
Выводы. В ходе выполнения данного проекта разработано программное обеспечение, предназначенное для сбора, обработки и представления метеороло- гических данных, предоставляемых рядом сервисов. Была изучена экосистема
Apache Hadoop и произведен выбор соответствующих программных компонен- тов для реализации поставленной задачи. Созданная информационная система позволяет собирать, обрабатывать и анализировать большие объемы данных ис- пользуя технологии класса Big Data.

493
Список использованных источников
1.
Стихийные бедствия и техногенные катастрофы. Превентивные меры =
Natural Hazards. UnNatural Disasters: The Economics of Effective Preven- tion.
−
М.
:
«Альпина Паблишер»
, 2012.
−
312 с.
2. Большие данные
[Электронный ресурс].
Режим доступа: https://ru.wikipedia.org/wiki/Большие_данные − свободный. – Рус.
3. MapReduce
[Электронный ресурс].
Режим доступа: https://ru.wikipedia.org/wiki/MapReduce − свободный. – Рус.
4. Introduction to Big Data [Электронный ресурс]. Режим доступа: https://www.coursera.org/learn/big-data-introduction − свободный. – Англ.
5. Виктор Майер-Шенбергер, Кеннет Кукьер. Большие данные. Революция, которая изменит то, как мы живём, работаем и мыслим = Big Data. A Revolution
That Will Transform How We Live, Work, and Think / пер. с англ. Инны Гайдюк. −
М.: Манн, Иванов, Фербер, 2014. − 240 с.
6. Apache Pig [Электронный ресурс]. Режим доступа: https://pig.apache.org/
− свободный. – Англ.
7. Apache
Hive
[Электронный ресурс].
Режим доступа: https://hive.apache.org/ − свободный. – Англ.
УДК 004.94
А. А. Першин, Д. А. Чащина, И. А. Гурин
94
ФГАОУ ВО «Уральский федеральный университет имени первого Президента России Б.Н. Ельцина», г. Екатеринбург, Россия
РАЗРАБОТКА ИНФОРМАЦИОННО-МОДЕЛИРУЮЩЕЙ СИСТЕМЫ
РАЗБАВЛЕНИЯ ПРИМЕСЕЙ В РЕКАХ ПРИ СОСРЕДОТОЧЕННЫХ
СТАЦИОНАРНЫХ ВЫПУСКАХ СТОЧНЫХ ВОД
Аннотация
Представлено описание информационно-моделирующей системы, основными функци-
ями которой является расчет разбавления примесей в реках при сосредоточенных стацио-
нарных выпусках сточных вод. Отражены основные этапы разработки программного обес-
печения: постановка задачи, реализация тестового варианта расчета и проверки методики
расчета в электронных таблицах Microsoft Excel; разработка архитектуры информационной
системы; проектирование, реализация программного средства (математической библио-
теки и пользовательского интерфейса); обработка исключительных ситуаций в программе;
разработка системы автоматизированного тестирования для проверки корректности рас-
четов; создание справочной документации; подготовка дистрибутива; формирование от-
чета с результатами расчета с возможностью его предварительного просмотра и экспорта
во внешние форматы.
Ключевые слова: сточные воды, примеси в реках, программирование, программное
обеспечение, архитектура, интерфейс, математическая библиотека.
94
© Першин А. А., Чащина Д. А., Гурин И. А., 2018