Файл: Современные информационные технологии в бизнесе.pdf

Возможности BI-систем. 15 главных пунктов (по Gartner) фото фото
Анализ данных
Оперативная аналитическая обработка данных (OLAP, OnLine Analytical Processing) —
поддержка OLAP значительно ускоряет процессы обработки запросов и выполнения расчетов, обеспечивая анализ данных в различных срезах (такой стиль анализа обозначается термином «slicing and dicing», что дословно переводится как «нарезание на кубики и ломтики», то есть в продольном и поперечном направлении). Такие инструменты также позволяют осуществлять планирование, использовать анализ по типу "что, если...".
OLAP
при этом может быть реализован посредством различных архитектур данных и хранилищ, как дисковых, так и in-memory.
Интерактивная визуализация — максимально наглядное представление данных с использованием различных интерактивных изображений, схем и графиков (вместо привычных таблиц с обычными строками и столбцами).
Предикативное моделирование и data mining (интеллектуальный анализ данных) — эти инструменты призваны помочь компаниям классифицировать данные, формировать собственные номинальные и количественные шкалы, а также использовать для их анализа развитый математический аппарат.
20

Возможности BI-систем. 15 главных пунктов (по Gartner) фото фото
Анализ данных
Карты показателей (scorecards) — позволяют на основании определенных ключевых показателей (отображаемых на контрольных панелях) контролировать ход выполнения стратегических планов и достижения ключевых показателей эффективности (KPI). Тем самым операционные показатели
«привязываются»
к целевым стратегическим индикаторам. Для дальнейшего, более детального анализа эти показатели могут расшифровываться при помощи дополнительных отчетов. Такие механизмы позволяют реализовывать различные методологии управления, такие как системы сбалансированных показателей (BSC).
Перспективное моделирование,
симуляторы и
оптимизация
- инструментарий предназначен для поддержки принятия решений в условиях выбора правильного значения переменной как детерминированных, так и при моделировании случайных процессов.
21

Business Intelligence фото фото
22

Business Intelligence
. Типовые блоки современных BI-систем фото фото
Средства BI сегодня весьма разнообразны. Они включают:

инструменты для построения реляционных хранилищ данных - специальным образом спроектированных баз данных, позволяющих с высокой скоростью выполнять запросы на выбор данных;

серверные и клиентские средства построения многомерных хранилищ данных,
содержащих в нереляционной структуре агрегатные данные (суммы, средние значения);

клиентские приложения для предоставления пользовательских интерфейсов к реляционным и многомерным хранилищам данных;

средства создания решений на основе подобных хранилищ, анализа многомерных и реляционных данных, генерации отчетов по многомерным и реляционным данным.
Основные возможности BI-систем развиваются по четырем основным направлениям:
хранение данных
,
интеграция данных
,
анализ данных и
представление данных
23

Business Intelligence
. Хранение данных фото фото
Данные, используемые для бизнес-анализа, организуются в специальные хранилища (data warehouse, DW).
Эти данные должны отражать текущую, реальную и полную картину бизнеса. Информация в хранилище данных (включая исторические данные) собирается из различных операционных (транзакционных) систем и структурируется специальным образом для более эффективного анализа и обработки запросов (в обличие от обычных баз данных, где информация организована таким образом, чтобы оптимизировать время обработки текущих транзакций).
Хранилища данных содержат огромные объемы информации, охватывающей все доступные стороны деятельности предприятия и позволяющие рассматривать все аспекты функционирования бизнеса в совокупности. Для решения более узких, конкретных задач из общего хранилища могут вычленяться подмножества данных – так называемые витрины данных (data marts).
Хранилища данных - это предметно-ориентированные, интегрированные, стабильные,
поддерживающие хронологию наборы данных, используемые для поддержки принятия управленческих решений.
Данные в хранилище попадают из оперативных систем, а также из внешних источников. По аналогии с "материальными" хранилищами, хранилища данных предусматривают такие операции, как сбор данных ("приход материалов на склад"), хранение данных ("складской запас"), перемещение в витрины данных ("отгрузка товаров в розничную сеть").
24

Business Intelligence
. Хранение данных фото фото
Основные требования к хранилищам данных:

поддержка высокой скорости получения данных из хранилища;

поддержка внутренней непротиворечивости данных;

возможность получения и сравнения так называемых срезов данных (slice and dice);

наличие удобных утилит просмотра данных в хранилище;

полнота и достоверность хранимых данных;

поддержка качественного процесса пополнения данных.
Выполнить все перечисленные требования в рамках одного и того же продукта зачастую не удается. Поэтому для реализации хранилищ данных обычно используется несколько продуктов, одни их которых представляют собой собственно средства хранения данных,
другие - средства их извлечения и просмотра, третьи - средства их пополнения и т. д.
В отличие от так называемых оперативных баз данных, с которыми работают приложения,
изменяющие данные, реляционные хранилища данных проектируются таким образом,
чтобы добиться минимального времени выполнения запросов на чтение (у оперативных же баз данных чаще всего минимизируется время выполнения запросов на изменение данных). Обычно данные копируются в хранилище из оперативных баз данных согласно определенному расписанию. Типичная структура хранилища данных существенно отличается от структуры обычной реляционной СУБД. Как правило, эта структура денормализована (это повышает скорость выполнения запросов) и может допускать избыточность данных.
25

Business Intelligence
. Интеграция данных фото фото
Для формирования и поддержания хранилищ данных используются так называемые ETL- средства – инструменты для извлечения данных (extract), преобразования данных
(transform),
то есть приведения их к необходимому формату, обработки в соответствии с определенными правилами, комбинировании с другими данными и т.п., а также для загрузки данных (load), записи данных в хранилище или в другую базу.
Инструменты для работы с SQL (structured query language), позволяющие пользователям напрямую обращаться к данным. В последнее время инструменты для формирования и обработки запросов стали более
«дружественными»,
ориентированными на неподготовленных бизнес-пользователей (а не на квалифицированных ИТ-специалистов).
Корпоративные порталы, обеспечивающие взаимосвязь на уровне данных и бизнес- процессов. Такие порталы обеспечивают совместный доступ к информации. (EAI, enterprise application integration).
26

Business Intelligence
. Анализ данных фото фото
Для всестороннего анализа данных в современных BI используются OLAP-инструменты
(online analytical processing).
Они позволяют рассматривать различные срезы данных, в том числе временные, позволяющие выявлять различные тренды и зависимости (по регионам,
продуктам, клиентам и т.п.).
В наиболее развитые BI-решения включены блоки для глубокого исследования данных
(data mining).
Иногда этот термин ошибочно используют для обозначения инструментов,
позволяющих по-новому представить (отобразить) информацию, однако на самом деле эти инструменты призваны помочь в выявлении скрытых (неочевидных) закономерностей,
моделей, составления прогнозов. Они основаны на сканировании и статистической обработке огромных массивов данных и в конечном итоге призваны облегчить принятие правильных и обоснованных стратегических решений благодаря анализу различных вариантов развития событий. В качестве инструментов используются нейронные сети,
деревья решений.
27

Классификация продуктов Business Intelligence.
OLAP или развитые аналитические инструменты.
фото фото
Инструменты OLAP являются аналитическими инструментами, которые первоначально были основаны на многомерных базах данных (МБД). МБД — это базы данных,
сконструированные специально для поддержки анализа количественных данных с множеством измерений, содержат данные в «чисто» многомерной форме. Большинство приложений включают измерение времени, другие измерения могут касаться географии,
организационных единиц, клиентов, продуктов и др.
OLAP
позволяет организовать измерения в виде иерархии. Данные представлены в виде гиперкубов (кубов) — логических и физических моделей показателей, коллективно использующих измерения, а также иерархии в этих измерениях. Некоторые данные предварительно агрегированы в БД, другие рассчитываются «на лету».
Средства OLAP позволяют исследовать данные по различным измерениям. Пользователи могут выбрать, какие показатели анализировать, какие измерения и как отображать в кросс-таблице, обменять строки и столбцы «pivoting», затем сделать срезы и вырезки
(«slice&dice»), чтобы сконцентрироваться на определенной комбинации размерностей.
Можно изменять детальность данных, двигаясь по уровням с помощью детализации и укрупнения «drill down/ roll up», а также кросс-детализации «drill across» через другие измерения.
28

Классификация продуктов Business Intelligence.
OLAP или развитые аналитические инструменты.
фото фото
Многомерные хранилища обычно содержат агрегатные данные (например, суммы, средние значения, количество значений) для различных выборок. Чаще всего такие агрегатные функции образуют многомерный набор данных, называемый кубом, оси которого
(называемые измерениями) содержат параметры, а ячейки - зависящие от них агрегатные данные (иногда их называют мерами). Вдоль каждой оси данные могут быть организованы в иерархии, отражающие различные уровни их детализации.
Как правило, агрегатные данные получаются путем выполнения серии запросов на группировку данных при этом довольно часто в качестве источника данных для подобных запросов выступают реляционные хранилища данных.
Цель хранения агрегатных данных - сократить время выполнения запросов, поскольку в большинстве случаев для анализа и прогнозов интересны не детальные, а суммарные данные.
29

Классификация продуктов Business Intelligence.
OLAP или развитые аналитические инструменты.
фото фото
Как исходные, так и агрегатные данные могут храниться либо в реляционных, либо в многомерных структурах. Поэтому в настоящее время применяются три способа хранения данных:
 MOLAP (Multidimensional OLAP) - исходные и агрегатные данные хранятся в многомерной базе данных;
 ROLAP (Relational OLAP) - исходные данные остаются в той же реляционной базе данных, где они изначально находились, агрегатные же данные помещают в специально созданные для их хранения служебные таблицы в той же базе данных;
 HOLAP (Hybrid OLAP) - исходные данные остаются в той же реляционной базе данных,
где они изначально находились, а агрегатные хранятся в многомерной базе данных.
Некоторые OLAP-средства поддерживают хранение данных только в реляционных структурах, некоторые - только в многомерных. Однако большинство современных серверных OLAP-средств поддерживают все три способа хранения данных. Выбор способа хранения зависит от объема и структуры исходных данных, требований к скорости выполнения запросов и частоты обновления OLAP-кубов.
Выпущенные в течение последних лет СУБД ведущих производителей - IBM, Microsoft,
Oracle,
содержат средства для создания многомерных хранилищ данных. Существуют и отдельные продукты для создания OLAP-хранилищ - их выпускают компании Hyperion,
Sybase, Business Objects и некоторые другие.
30

Классификация продуктов Business Intelligence.
Интеллектуальный анализ данных фото фото
Интеллектуальный анализ данных (data mining) представляет собой процесс обнаружения корреляции, тенденций, шаблонов, связей и категорий. Она выполняется путем тщательного исследования данных с
использованием технологий распознавания шаблонов, а также статистических и математических методов. При этом многократно выполняются различные операции и преобразования над сырыми данными (отбор признаков,
стратификация,
кластеризация,
визуализация и
регрессия),
которые предназначены:
1)
для нахождения представлений, которые являются интуитивно понятными для людей,
которые, в свою очередь, лучше понимают бизнес-процессы, лежащие в основе их деятельности;
2)
для нахождения моделей, которые могут предсказать результат или значение определенных ситуаций, используя исторические или субъективные данные.
В отличие от использования OLAP разведка данных в значительно меньшей степени направляется пользователем, вместо этого полагается на специализированные алгоритмы,
которые устанавливают соотношение информации и помогают распознать важные (и ранее неизвестные) тенденции, свободные от предвзятости и предположений пользователя.
31

Классификация продуктов Business Intelligence.
Интеллектуальный анализ данных фото фото
В общем случае процесс Data Mining состоит из трёх стадий :
1)
выявление закономерностей (свободный поиск);
2)
использование выявленных закономерностей для предсказания неизвестных значений
(прогностическое моделирование);
3)
анализ исключений, предназначенный для выявления и толкования аномалий в найденных закономерностях.
Иногда в явном виде выделяют промежуточную стадию проверки достоверности найденных закономерностей между их нахождением и использованием (стадия валидации).
Примерами искомой информации могут служить сведения о том, какие категории покупателей чаще всего приобретают тот или иной товар, какая часть покупателей одного конкретного товара приобретает другой конкретный товар, какая категория клиентов чаще всего вовремя не выплачивает предоставленный кредит. Подобного рода информация обычно используется при прогнозировании, стратегическом планировании, анализе рисков,
и ценность ее для предприятия очень высока. Если при статистическом анализе или при применении OLAP обычно формулируются вопросы типа "Каково среднее число клиентов банка, не вернувших вовремя кредит, среди неженатых мужчин от 40 до 50 лет?", то применение Data Mining, как правило, подразумевает ответы на вопросы типа "Существует ли типичная категория клиентов, не возвращающих вовремя кредиты?". При этом именно ответ на второй вопрос нередко обеспечивает принятие успешного бизнес-решения.
32

Классификация продуктов Business Intelligence.
Интеграция OLAP и data mining фото фото
Оперативная аналитическая обработка и интеллектуальный анализ данных - две составные части процесса поддержки принятия решений. Но сегодня большинство систем
OLAP
заостряет внимание только на обеспечении доступа к многомерным данным, а большинство средств data mining, работающих в сфере закономерностей, имеют дело с одномерными перспективами данных. Эти два вида анализа должны быть тесно объединены, то есть системы OLAP должны фокусироваться не только на доступе, но и на поиске закономерностей.
33

Business Intelligence.
Инструменты генерации запросов и отчетов.
фото фото
Отчет представляет собой документ, содержимое которого динамически формируется на основе информации, содержащейся в базе данных.
Генераторы запросов и отчетов — типично «настольные» инструменты, предоставляющие пользователям доступ к базам данных, выполняющие некоторый анализ и формирующие отчеты.
Запросы могут быть как незапланированными (ad hoc), так и иметь регламентный характер.
На рынке ПО сейчас представлено немало средств создания отчетов: как отдельных продуктов, так и входящих в состав средств разработки приложений или СУБД, и реализованных в виде либо серверных служб, либо клиентских приложений. Как правило,
средства создания отчетов поддерживают широкий спектр универсальных механизмов доступа к данным (ODBC, OLE DB, ADO.NET), нередко - средства прямого доступа к наиболее популярным СУБД с помощью их клиентских API, содержат средства деловой графики, интегрируются с офисными приложениями, позволяют публиковать отчеты в
Интернете,
включают классы или компоненты,
предназначенные для создания приложений, реализующих (наряду с другими возможностями) генерацию отчетов.
34