Введение в большие данныеВыполнил| Балмакаев Т.МВведение 2https://www.slanecartoon.com/-/galleries/privacy-1/-/medias/f882b7b9-5893-4572-99f1-1c17c7ebbe81-data-mine/shareПонятие больших данных и области применения15Большие данные (Big Data, биг дата) — это структурированные и неструктурированные данные огромных объемов и разнообразия, а также методы их обработки, которые позволяют распределено анализировать информацию.Понятие больших данных и области применения16Клиффорд Линч, 2008Business Intelligence17Business Intelligence = BI = Бизнес – аналитика (rus) — это набор IT-технологий для сбора, хранения и анализа данных, позволяющих предоставлять пользователям достоверную аналитику в удобном формате, на основе которой можно принимать эффективные решения для управления бизнес-процессами компании.Разница подходов18

Традиционная аналитика	Big data аналитика
Постепенный анализ небольших пакетов данных	Обработка сразу всего массива доступных данных
Редакция и сортировка данных перед обработкой	Данные обрабатываются в их исходном виде
Старт с гипотезы и ее тестирования относительно данных	Поиск корреляций по всем данным до получения искомой информации
Данные собираются, обрабатываются, хранятся и лишь затем анализируются	Анализ и обработка больших данных в реальном времени, по мере поступления

Функции и задачи больших данных19Правило VVV — три признака или свойства, которыми большие данные должны обладать:

• Volume – объем
• Velocity – скорость
• Variety - многообразие

Функции и задачи больших данных20

Функция	Задача
Big Data — собственно массивы необработанных данных	Хранение и управление большими объемами постоянно обновляющейся информации
Data mining — процесс обработки и структуризации данных, этап аналитики для выявления закономерностей	Структурирование разнообразных сведений, поиск скрытых и неочевидных связей для приведения к единому знаменателю
Machine learning — процесс машинного обучения на основе обнаруженных связей в процессе анализа	Аналитика и прогнозирование на основе обработанной и структурированной информации

---

Источники больших данных21

• Интернет — соцсети, блоги, СМИ, форумы, сайты, интернет вещей (IoT).
• Корпоративные данные — транзакционная деловая информация, архивы, базы данных.
• Показания устройств — датчиков, приборов, а также метеорологические данные, данные сотовой связи и т.д. -

Принципы функционирования систем больших данных 22

• Горизонтальная масштабируемость
• Отказоустойчивость
• Локальность данных

Что можно сделать с помощью больших данных?23Предсказать победителя Оскара!Что можно сделать с помощью больших данных?24Найти военную базу НАТО Что можно сделать с помощью больших данных?25Диагностировать беременностьОбласти применения технологий больших данных26Анализ данных опросов: - Мониторинг общественного мнения и анализ социально-экономической ситуации- Определение проблем, формирующих кризисную ситуацию- Анализ реакции населения на внедрение различных федеральных ирегиональных программ- Анализ экономического положения и уровня жизни населенияОбласти применения технологий больших данных27Предвыборные исследования- Анализ эффективности политической рекламы- Анализ средств массовой информации- Выявление наиболее эффективных средств влияния на мненияразличных групп избирателей- Диагностика предвыборной ситуации- Анализ основных проблем избирателейОбласти применения технологий больших данных28 Общественная безопасность- Анализ преступности- Отслеживание уровня рецидивизмаОбласти применения технологий больших данных29 Образование- Планирование школьных округов- Отслеживание успеваемости учащихся, выявление факторовспособствующих повышению успеваемости- Администрирование - контроль за уровнем выполненияобязательных программ и тестов.Области применения технологий больших данных30Трудоустройство- Анализ рынка труда - понимание состава и структуры рабочей силы- Анализ заявлений о приеме на работу - разработка профилей претендентов.Области применения технологий больших данных

---

31Анализ прибыли - Оценка соответствия размеров уплаченных налогов и имущества- Анализ мошенничествОбласти применения технологий больших данных32Здравоохранение- Отслеживание болезней и создание отчетов о случаях заболеваний- Эпидемиология - выявление причин заболеваний и территории ихраспространения, а также контроль заболеваемости- Медицинская помощь - определение профилей тех, кому частотребуется медицинская помощь- Профилактика - выявление групп риска и необходимостимедицинского вмешательства.Области применения технологий больших данных33Окружающая среда- Анализ экосистем - выяснение факторов, влияющих на здоровьеэкосистемы- Оценка качества воды/воздуха - осуществление контроля засоответствием качества вод или воздуха имеющимся стандартам.Области применения технологий больших данных34Транспорт- Планирование наиболее эффективных маршрутов для лучшейорганизации транспортных и пассажирских потоков- Создание отчетов о дорожных происшествиях для выясненияфакторов, влияющих на происшествия- Моделирование программ поддержания надлежащего состояниядорожного покрытия, прогнозирование возможного ремонта дорог.Области применения технологий больших данных35Стратегическое планирование- Анализ удовлетворенности клиентов и изучения изменений потребностей общественности- Оценка программ - понимание факторов успешной реализации программы- Профилирование населения - более эффективное направление действия программы на определенные слои населения- Анализ затрат - выявления наиболее эффективных программ- Анализ результатов выполнения программТехнологии больших данных в маркетинге40

• Создание точных портретов целевых потребителей.
• Предсказание реакции потребителей на маркетинговые сообщения.
• Максимальная персонализация рекламных сообщений.
• Увеличение кросс-продаж, повторных продаж, ремаркетинга.
• Поиск и определение причин популярности востребованных товаров и продуктов.
• Совершенствование продуктов и услуг, повышение лояльности клиентов.
• Повышение качества обслуживания.
• Предупреждение мошенничества.
• Снижение издержек в работе с поставщиками и клиентами.

---

Большие данные в бизнесе36Поставщики инфраструктуры — решают задачи хранения и предобработки данных. Датамайнеры — разработчики алгоритмов, которые помогают заказчикам извлекать ценные сведения. Системные интеграторы — компании, которые внедряют системы анализа больших данных на стороне клиента. Потребители — компании, которые покупают программно-аппаратные комплексы и заказывают алгоритмы у консультантов. Поисковые системы37Выгоды использования Big Data в бизнесе38

• Упрощается планирование.
• Увеличивается скорость запуска новых проектов.
• Повышаются шансы проекта на востребованность.
• Можно оценить степень удовлетворенности пользователей.
• Проще найти и привлечь целевую аудиторию.
• Ускоряется взаимодействие с клиентами и контрагентами.
• Оптимизируются интеграции в цепи поставок.
• Повышается качество клиентского сервиса, скорость взаимодействия.
• Повышается лояльность текущих клиентов.

Драйверы и ограничители Big Data в России39

Драйверы	Ограничители
Высокий спрос на Big Data для повышения конкурентоспособности с помощью возможностей технологий	Необходимость обеспечивать безопасность и конфиденциальность данных
Развитие методов обработки медиафайлов на мировом уровне	Нехватка квалифицированных кадров
Реализация отраслевого плана по импортозамещению программного обеспечения	В большинстве российских компаний объем накопленных информационных ресурсов не достигает уровня Big Data
Тренд на использование услуг российских провайдеров и системных интеграторов	Новые технологии сложно внедрять в устоявшиеся информационные системы компаний
Создание технопарков, которые способствуют развитию информационных технологий	Высокая стоимость технологий
Государственная программа по внедрению грид-систем — виртуальных суперкомпьютеров, которые распространяются по кластерам и связываются сетью	Заморозка инвестиционных проектов в России и отток зарубежного капитала
Перенос на территорию России серверов, которые обрабатывают персональную информацию	Рост цен на импортную продукцию

---

Сервисы Big Data41«1С-Битрикс BigData»Сервисы Big Data42RTB MediaСервисы Big Data43AlyticsСервисы Big Data44CrossssТехнологии Больших данных: 45

• NoSQL;
• MapReduce;
• Hadoop;
• R;
• Python;
• Аппаратные решения.

Методы и техники анализа Больших данных46Основными методами и техниками анализа, применимыми к Большим данным, являются следующие:

• Методы класса Data Mining
• Краудсорсинг
• Смешение и интеграция данных
• Машинное обучение
• Визуализация аналитических данных

Data MiningData Mining48Data Mining – это сочетание широкого математического инструментария (от классического статистического анализа до новых кибернетических методов) и последних достижений в сфере информационных технологийData Mining (добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Термин введён Григорием Пятецким-Шапиро в 1989 году.Data Mining49Data Mining - мультидисциплинарная область, возникшая и развивающаяся на базе таких наук как прикладная статистика, распознавание образов, искусственный интеллект, теория баз данныхМодели представления знаний Data Mining50Обзор существующих методов Data Mining51

• искусственные нейронные сети
• деревья решений, символьные правила
• методы ближайшего соседа и k-ближайшего соседа
• метод опорных векторов
• байесовские сети
• линейная регрессия
• корреляционно-регрессионный анализ
• иерархические методы кластерного анализа
• неиерархические методы кластерного анализа, в том числе алгоритмы k-средних и k-медианы
• эволюционное программирование и генетические алгоритмы
• метод ограниченного перебора
• эволюционное программирование и генетические алгоритмы
• разнообразные методы визуализации данных и множество других методов.

Свойства методов Data Mining52

• точность
• масштабируемость
• интерпретируемость
• проверяемость
• трудоемкость
• гибкость
• быстрота
• популярность

---

Смотрите также файлы

• Тема занятий.docx

• Виды террористических акто Способы осуществления террористических актов.docx

• Формирование функциональной грамотности одна из основных задач фгособщего образования.pdf

• Программа среднего профессионального образования Право и организация социального обеспечения Дисциплина Право социального обеспечения Практическое задание 3.docx

• Практическое задание 3, Модуль Коррекция нарушений чтения и письма слушатель Горланова Оксана Викторовна Преподаватель Лещенко Светлана Геннадьевна.rtf