Файл: Технологические платформы обработки больших данных.docx

В Loginom администрирование позволяет управлять пользователями, рабочими папками их правами доступа, а также параметрами работы сервера.

В Deductor администрирование позволяет делать тоже самое, за исключением того, что там необходимо инсталлировать и настраивать рабочие места, что усложняет работу.

Работа с большими данными в Loginom позволяет в массивах информации выявить тенденции и на основе этого строить поведенческие и предсказательные модели.

В Loginom визуализация данных может быть представлена в различных вариантах исходя из того, какой нужен формат отображения данных.

Варианты визуализаторов: диаграмма, куб, таблица, статистика, конечные классы, представлены на рисунке 4, отчёт по регрессии, качество бинарной классификации.



Рисунок 4 - WoE-диаграмма и значения информационных индексов IV⁹
Возможные варианты визуализации данных в Deductor: таблица, статистика, диаграмма, куб, матрица корреляции, факторный анализ, конечные классы, граф нейросети, дерево решений, карта Кохонена, отчет по регрессии, связи кластеров, метаданные.

Имеется возможность использовать модели интеллектуального анализа данных в Loginom в следующих сценариях:

– прогнозирование – анализ продаж, прогнозирование нагрузки сервера или времени простоя сервера;

– риск и вероятность - выбор наиболее подходящих клиентов для целевой рассылки, определение точки равновесия, присвоение вероятностей результатам;

– рекомендации – определение товаров, которые с большой долей вероятности могут быть проданы вместе, создание кросс-пакетов.

– поиск последовательностей – анализ выбора клиентов во время совершения покупок, прогнозирование возможных событий;

– группировка – разделение клиентов или событий на кластеры связанных элементов, анализ и прогнозирование общих свойств.

В Deductor интеллектуальный анализ данных позволяет строить следующие:

– решающие деревья – логический алгоритм классификации, основанный на поиске конъюнктивных закономерностей;

---

– самоорганизующиеся карты Кохенена – самообучающаяся нейронная сеть без учителя, выполняющая задачу визуализации и кластеризации;

– многослойные нейронные сети – нейронные сети, в которых нейроны сгруппированы в слои. В этом случае каждый нейрон предыдущего слоя связан со всеми нейронами следующего слоя, и между нейронами внутри слоев нет никаких связей, представлены на рисунке 5.



Рисунок 5 - Многослойная нейронная сеть¹⁰
Машинное обучение в обоих программных продуктах позволяет разрабатывать и строить аналитические модели, которые способны автоматически находить в данных скрытые закономерности, а также самостоятельно обнаруживать свойства, необходимые для определения этих закономерностей.

Наличие API в Loginom позволяет автоматически передавать данные из одного программного обеспечения в другое.

Потоковая аналитика в Loginom использует аналитические алгоритмы над данными в режиме реального времени для нахождения ключевых показателей бизнес-процессов.

Создание собственных компонентов и подключаемые пакеты позволяет аналитику создавать собственные компоненты и размещать их в общей палитре, при этом доступ к ним определяет сам автор.

---

2.2. Факторы внедрения технологических платформ для анализа больших данных

В настоящее время системы и технологии визуализации больших данных испытывают резкий скачок в развитии в связи с возросшей необходимостью обработки массивов информации и представления ее в удобном для восприятия виде. Программные средства с возможностями BI имеют огромный спрос на рынке при формировании финансовых, строительных, логистических и иных потребительских отчетов. Их можно применять в любой отрасли или сфере деятельности (финансы, торговля, государственные органы, промышленность, медицина), как на уровне компании в целом, так и для подразделений или отдельных продуктов.

Business Intelligence, или BI-системы - это набор инструментов и технологий для сбора, анализа и обработки данных.

Современные Lowcode аналитические платформы реализуют различные процессы: от интеграции и подготовки данных до моделирования, развертывания и визуализации. Для обычного пользователя принцип действия BI-системы выглядит просто: к системе подключают источники данных, далее ин формация направляются в единое хранилище и обрабатываются, а затем демонстрируются в виде готовых отчетов.

Источниками данных выступают различные системы (Oracle Cloud, Google BigQuery, Microsoft Azure и другие веб-– облачные подключения), файловые (Excel , XML, PDF и иные табличные файлы), реляционные (SQL Server, MySQL, Oracle). Так, данные могут быть представлены в виде таблицы Excel или коллекции сотен облачных и локальных гибридных хранилищ данных, которые импортируются в систему аналитики, визуализируются и обсуждаются с другими пользователями. Коллекция программных служб, приложений и соединителей взаимодействуют друг с другом, чтобы превратить разрозненные источники данных в согласованные, визуально иммерсивные и интерактивные аналитические данные.

Рассмотрим динамику роста больших данных в мире в млрд. долл. (рис.6).



Рисунок 6 - Динамика роста больших данных в млрд. долл.¹¹
В 2018 году объём всемирного рынка больших данных собрал 168,8 млрд. долл. По итогам 2019 года, объём Big Data вырос на 12% в сравнении с прошлым годом. Ожидается, что среднегодовой темп роста будет возрастать ежегодно на 19,7% с 2020 по 2026 год. Однако, по некоторым данным, объем мирового рынка Big Data в 2021 году составил 215,7 млрд. долл., что составляет на 10,1% больше, в сопоставлении с 2020.

---

Обычно компании имеют инструменты для того, чтобы упорядочивать процессы и работу над задачами.

Платформы являются нужным инструментом.

Рассмотрим признаки, когда уже пора начинать внедрять платформы по обработке больших данных (рис.7).


Признаки, когда пора внедрения технологических платформ для анализа больших данных







Снижение продуктивности


Трудности масштабирования



Нехватка прозрачности


Рисунок 7 – Признаки, когда пора внедрения технологических платформ для анализа больших данных¹²
Первопричиной пользы является лучшее понимание клиентов. Большие данные позволяют анализировать собственных покупателей, выявлять, что заставляет их купить данный товар.

Второй фактор предоставляется как создание маркетинговых сообщений. На основе лучшего понимания клиента и анализа действий происходит разработка более результативных маркетинговых сообщений и способов снижения затрат на вовлечение клиентов.

Big Data способствуют усовершенствованию бизнес-процессов внутри организации. Изучая данные по имеющимся внутри фирмы бизнес-процессам и анализируя их, возможно обнаружить не только слабые места компании, но и улучшить их.

Большие данные формируют дифференцированные преимущества, которые прежде всего отражаются на стратегическом уровне бизнес-модели. Big Data имеют все шансы помочь фирмам усовершенствовать свои стратегические возможности принятия решений, стремительно формулировать стратегические планы, соответствующие рынку.

Что касается ограничений применения Big Data внутри предприятия, рассматривается высокая стоимость решений, которые сопровождаются недостаточностью быстрых результатов. Предприятия, особенно среднего и малого бизнеса, ограничены в материальных расходах на информационные технологии. Средства обработки Big Data требуют больших вычислительных мощностей и дороги в закупке, установке и применении.

---

Приведём в пример применение Big Data в различных компаниях (таблица 4).

Таблица 4

Результаты применение Big Data в различных компаниях ¹³

Фирма	Сервис	Способ	Результат
Hoff	Google BigQuery+ Alytics	Благодаря соединению всех данных в одном месте, были построены необходимые отчеты. Затем проведена аналитика данных.	Коэффициент рентабельности на некоторые категории товаров вырос на 17%. Было выявлено, что в 1/3 прибылей московских гипермаркетов приходится на посетителей сайта Hoff.ru.
CarPrice	Mail.ru Cloud Solutions	Вследствие соединения данных в одном месте, службе поддержки удалось своевременно решать технические вопросы и проблемы сервиса.	Сократились расходы на сервис в 4 раза, с увеличением качества обслуживания.
Zarina	RetailRocket	Благодаря аналитике больших данных, на сайте были выявлены ошибки в категориях товаров, корзине и даны рекомендации.	Выручка увеличилась на 28%.
S7 Airlines	Segmento	Из-за соединения всех данных, накапливания информации, удалось давать более точные прогнозы системе.	Конверсии покупателей увеличились в два раза.

Кроме того, обеспечение защиты больших массивов информации становится чрезвычайно трудоемкой. Данные содержат в себе не только коммерческую тайну предприятия, но и частную конфиденциальность.

В заключении, технологические изменения, совершающиеся в рамках мировой цифровой трансформации, привносят в работу фирм и жизнь людей колоссальное число возможностей. Одной из образующих цифровую трансформацию и является использование больших данных.

Говоря о воздействии Big Data на экономическую эффективность предприятия, становится очевидным, что во многих областях использования технологических платформ обработки больших данных могут содействовать развитию производительности, формированию добавочных ценностей и увеличению потоков прибыли.

---