Файл: Технологические платформы обработки больших данных.docx

---

Глава 3.Направления совершенствования технологических платформ обработки больших данных

3.1.Проблемы формирования технологических платформ

Как и в любой сфере деятельности, у Big Data тоже есть свои проблемы, из-за которых технология будет работать менее эффективно, рассмотрим некоторые из них.

1. Проблема масштабирования. Компании хранят данные в «облаках» для лучшей сохранности. Потому что Большие данные важно не только правильно хранить, но еще для них нужна хорошая система хранения.

2. Отсутствие грамотных работников. Для работы с Big Data нужны талантливые люди, которые умеют правильно задавать вопросы при сборе и анализе информации, потому что это важно для получения и интерпретации данных.

3. Нет одного языка для обсуждения и работы с данными внутри компании. Из-за того, что у разных специалистов «свой язык», нужно давать сотрудникам базовые уроки по работе с данными. Только такой вариант позволит Big Data работать правильно и эффективно.

Компании предусмотрели данные проблемы и нашли способы их решения. Вот некоторые из них:

1) Новые роли и статусы. Это значит, что появляются должности директоров по цифровым или маркетинговым технологиям;

2) Междепартаментские рабочие группы, которые объединяют сотрудников разных направлений, способных работать с большими данными.

Лидерами, которые основываются на анализе и обработке больших данных, стали телекоммуникационные и интернет-компании.

Например, успех Netflix заключается в активном и эффективном использовании Big Data. Эту технологию они применяют в системе рекомендаций. Таким образом, собирается много информации и происходит анализ предпочтений подписчика. На основе этого и решается, какие фильмы и сериалы рекомендовать зрителю.

С 1998 года существует первый проект по анализу большого количества данных «Рейтинг Mail.ru». В нем использовались собственные технологии хранения данных и обработки входящей информации. Это позволяло смотреть статистику событий, происходящих на сайтах. В других проектах Mail.ru («Одноклассники», «Мой Мир» и т.д.) Big Data позволяет отличить спам от не спама, подобрать для пользователя индивидуальный баннер или подписаться на некоторые обновления

---

¹⁴.

Также существуют проблемы в формировании технологических проблем по обработке больших данных.

Одна из важнейших задач любой системы обработки данных — это проблема хранения полученных данных. В традиционных подходах наиболее популярными инструментами для хранения данных было использование реляционных баз данных.

Рост объема данных и потребности потребителей систем обработки данных привели к появлению концепции больших данных. Концепция больших данных основана на шести аспектах, таких как ценность, объем, скорость, разнообразие, достоверность и изменчивость. Это означает, что под термином «большие данные» понимается не только объем этих данных, но и их способность выступать в качестве источника для генерации ценной информации и идей.

Серьезной проблемой в производительности платформ для хранения и обработки данных является время поиска и записи информации, а также объем занятых данных. Управление обработкой и хранением больших объемов информации является сложным процессом.

В связи с этим при построении систем хранения больших данных возникает проблема выбора того или иного формата хранения данных. Для решения этой проблемы необходимо исходить из результатов оценки по нескольким критериям.

Еще одной проблемой является обеспечение безопасности, поскольку данные, служащие источником информации для анализа содержат важные сведения, представляющие собой персональные данные либо же коммерческую тайну.

Нарушение конфиденциальности грозит серьезными проблемами, это как штрафы от регуляторов, так и отток клиентов и потеря рыночной капитализации.

Также важную роль играет обеспечение целостности данных.

Существующие подходы к обеспечению защиты технологий больших данных основываются на использовании различных мер, в которых может не быть единой концепции защиты. Поэтому необходимы подходы, которые будут ориентироваться на защиту критических данных в ходе всего процесса обработки.

Таким образом, на рисунке 8 представим проблемы, связанные с формирование технологических платформ.


Проблемы по хранению полученных данных

---

Время поиска и записи информации


Проблемы формирования технологических платформ


Объем занятых данных





Обеспечение безопасности


Обеспечение целостности данных

Рисунок 8 – Проблемы формирования технологических платформ обработки больших данных¹⁵

В рамках курсовой работы рассмотрена лишь часть проблем, которые по мнению автора являются основными и требуют скорейшего решения. Также к проблемам можно отнести несовершенство законодательства, высокие затраты, большие риски.

---

3.2.Перспективы развития технологических платформ обработки больших данных

Сегодня большие данные используют крупные компании во всех отраслях, а также госорганы. Наиболее распространенным коммерческим направлением использования больших данных является реклама и рекомендации для пользователей заранее определенных ресурсов.

Ключевые элементы, составляющие аналитику больших данных представим на рисунке 9.



Рисунок 9 -Ключевые элементы аналитики больших данных¹⁶
Согласно Grand View Research, к 2025 году глобальный рынок Big Data как услуги достигнет 51,9 млрд долл., при этом CAGR составит 38,7% в период 2019-2025 гг.

Объем рынка Big Data в России составляет 10-30 млрд руб. При этом, в соответствии с усредненными прогнозами отечественных и иностранных экспертов, предполагается рост этого показателя в 10 раз – до отметки 300 млрд руб. к 2024 году.

Индустрии использования больших данных в России можно увидеть на рисунке 10.



Рисунок 10 - Индустрии использования больших данных в России¹⁷
Планируется укрепление и улучшение функционирования технологических платформ по обработке больших данных.

Развитие технологических платформ по обработке больших данных позволяет учитывать все факторы и риски.

Большой объем информации позволяет действовать на опережение.

Исходя из того, что платформы обработки больших данных позволяют снижать риски, увеличивают гибкость, автоматизируют процессы, они продолжат развиваться и совершенствоваться.

Но нельзя полагаться только на аналитику, нужно также использовать решения из сферы BI, системы сбора и передачи оперативной информации и т.д. Поэтому развитие платформ обработки больших данных будет сопровождаться развитием BI.

Заключение

Курсовая работа была написана об технологических платформах обработки больших данных.

В ходе проведенного исследования было установлено, что для эффективного управления данными имеют важные значения: доступность, непрерывность, удобство использования, масштабируемость, способность управлять на различных уровнях детализации, конфиденциальность и безопасность решений, а также контроль качества данных. Если основными требования к обработке данных традиционными способами являются надежность, стабильность, безопасность, наглядность, то к этим требованиям и еще добавляются обработка больших объемов данных и неструктурированной информации, такие как физические и логические.

---