Файл: OLAP технологии.pdf

Введение

Актуальность данной работы заключается в том, что современные тенденции развития технологий и автоматизации расчетов, роста баз данных и эффективности их использования создают такие условия для современных предприятий, которые вынуждают идти в ногу со временем и даже его опережать.

Технология OLAP возникла в 1993 году, и составляет собой 12 правил аналитической обработки данных в данный момент времени. Если внедрение данных технологий не происходит вовремя, то предприятие может потерять свои конкурентные преимущества. Ведь другие фирмы на данном рынке могут иметь более точные, своевременные и реальные результаты анализа данных, которые будут влиять на принятие управленческих решений.

Исследованием бизнес-процессов с применением OLAP-технологии занимались следующие ученые: Р. Кимбалл, А.А. Федоров, Н.В. Елманова, А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод, В.А. Сергиенко, М.А. Альперович, В.Ю. Мятвиевский и др.

Целью исследования является изучение особенностей применения OLAP-технологий.

OLAP технологии

Информационные системы можно разделить на два класса:

1. ориентированные на оперативную обработку данных (OLTP-системы);
2. ориентированные на аналитическую обработку данных (OLAP-системы).

OLTP-системы создаются, чтобы способствовать повседневной деятельности организации, и опираются на актуальные для текущего момента данные, хранящиеся в оперативной базе данных.

OLAP-системы служат для анализа деятельности организации, ее структурных подразделений и прогнозирования их будущего состояния. Сейчас бизнес невозможен без принятия обоснованных решений. Такие решения могут быть построены на основе всестороннего анализа результатов выполнения бизнес-процессов в организации и ее деятельности на рынке товаров и услуг. Время принятия решений в современных условиях и потоках информации сокращается. И роль анализа на основе новых информационных технологий возрастает.

Традиционный анализ, как правило, осуществляется при помощи изучения набора готовых отчетных форм, а его результатом является принятие одного из бизнес-решений. На практике руководителю может потребоваться исследование множества комбинаций данных, не укладывающихся в имеющийся набор готовых отчетных форм.

Эти проблемы легко решаются, если использовать OLAP-технологию. Она предполагает:

---

1. возможность полной и легкой настройки отчета без программиста;
2. возможность детализации отчета в процессе анализа данных;
3. непротиворечивость данных между отчетами;
4. простоту использования и восприятия отчетов.

OLAP (On-line Analytical Processing) – оперативная аналитическая обработка.12 определяющих принципов OLAP сформулировал в 1993 г. Э. Ф. Кодд. Позже они были переработаны в тест FASMI, требующий, чтобы OLAP-приложение предоставляло возможности быстрого анализа разделяемой многомерной информации:

1. Fast (Быстрый) – анализ должен производиться одинаково быстро по всем аспектам информации. Приемлемое время отклика – 5 секунд или менее.
2. Analysis (Анализ) – должна быть возможность основных типов числового и статистического анализа, предопределенного разработчиком приложения или произвольно определяемого пользователем.
3. Shared (Разделяемой) – множество пользователей должно иметь доступ к данным, при этом необходимо контролировать доступ к конфиденциальной информации.
4. Multidimensional (Многомерной) – это основная, наиболее существенная характеристика OLAP.
5. Information (Информации) – приложение должно иметь возможность обращаться к любой нужной информации, независимо от ее объема и места хранения.

OLAP – это способ представления данных в простом и понятном для конечного пользователя виде. В OLAP данные представляются в системе координат с n осями, например, с двумя в рамках таблицы или тремя в рамках куба. Так как OLAP не накладывает ограничений на количество осей, то используется термин «гиперкуб». Чаще всего применяется термин «куб OLAP». В таблице 1 (заполненной условными данными) приведен пример учебного OLAP-куба, разработанный автором.

Таблица 1 - Пример OLAP-куба

Средняя цена продажи домов, тыс. долл. США
			Существующие дома				Новые дома
			Минская обл.			Брестская обл.	Минская обл.			Брестская обл.
			Минск	Несвиж	Слуцк		Минск	Несвиж	Слуцк
2018	Кв. 1	Янв	87	63	71	66	95	72	80	70
		Фев	88	62	72	67	96	74	82	71
		Март	89	61	73	68	97	76	81	72
	Кв. 2		88	63	73	68	96	74	79	73
	Кв. 3		87	64	75	66	97	71	78	73
	Кв. 4		86	65	74	67	98	72	80	74
2019	Кв. 1	Янв	91	66	76	66	101	77	79	74
		Фев	92	67	77	67	102	78	81	75
		Март	93	69	78	67	103	79	82	76
	Кв. 2		94	68	77	68	105	75	83	75
	Кв. 3		91	65	76	69	104	74	81	76
	Кв. 4		96	64	75	69	103	75	81	77

---

Данные откладываются по двум осям, которыми являются строки и столбцы. Ось – координата гиперкуба. На каждой оси может быть показано несколько измерений. Измерение – свойство данных, которое откладывается по оси. В примере по оси строк показано измерение Дата, а по оси столбцов – измерения Категория и Место.

Когда на одной оси показываются два или более измерений, то приводятся все возможные комбинации данных одного измерения с данными другого. Поэтому в примере данные о существующих и новых домах приведены по каждому месту. Ячейки куба представляют меры куба. Мера – исходные данные для куба. В примере мерой является средняя цена продажи домов.

Возможные значения данных в измерении называются членами. Член – это элемент данных в измерении. Так, в измерении Категория членами являются {Существующие дома, Новые дома}. Важным термином OLAP является уровень измерения. Уровень измерения – это позиция измерения в иерархии. В примере уровнями измерения Место являются Область, Город, а уровнями измерения Дата – Год, Квартал, Месяц.

Как видим, OLAP имеет специфическую терминологию, а OLAP-кубы обеспечивают проведение многоаспектного анализа данных. Так, приведенный в таблице OLAP-куб позволяет анализ ценового фактора продаж домов по их категориям, по областям республики, их городам, по различным периодам времени – годам, кварталам, месяцам.

OLAP – это совокупность средств многомерного анализа данных, накопленных в хранилище данных. Хранилище данных (data ware house) – предметно-ориентированная, интегрированная, неизменяемая и поддерживающая хронологию электронная коллекция данных для поддержки принятия решений.

Хранилища данных рассматриваются как специально разработанные базы данных, предназначенные для подготовки отчетов и бизнес-анализа с целью поддержки принятия решений на предприятии.

Предметная ориентированность означает, что хранилище данных строится на атрибутах сущностей бизнеса (предметно-ориентированно), собирая данные об этих сущностях из различных источников. Данные объединяются в категории и хранятся в соответствии с предметными областями, которые они описывают, а не с приложениями, которые они используют.

Хранилища данных позволяют интегрировать разные точки зрения на одну предметную область, так как решение, принятое на основе одной точки зрения, может быть неэффективным или даже неверным.

Интегрированность – применение единых законов именования, способов вычисления данных, полученных из различных источников. Это позволяет решить проблему того, что один и тот же объект реального мира в разных системах описывается по-разному.

---

Неизменяемость – после того, как данные загружены в хранилище данных, они не могут быть изменены, а только читаются. Их модификация возможна в крайне редких случаях.

Поддержка хронологии – для анализа данных важно иметь возможность отслеживать хронологию изменений показателей предметной области. Поэтому все данные в хранилище должны соответствовать последовательным интервалам времени. В хранилище данных собирается информация о деятельности предприятия в прошлом. В накопленных данных предприятия находится «информационный снимок» хронологии его поведения на рынке.

Анализ истории деятельности предприятия позволяет: – существенно увеличить эффективность управления им; – оперативно организовать взаимоотношения с клиентами, производство и сбыт продукции.

Отправной точкой концепции складирования данных в хранилище является ретроспективный взгляд на данные, накопленные на предприятии. Собранная вместе и согласованная информация об истории развития предприятия, его успехах и неудачах, о взаимоотношениях с поставщиками и клиентами, об истории и состоянии рынка позволяет провести анализ прошлой и текущей деятельности предприятия и построение прогнозов на будущее.

Создание хранилища данных предполагает следующие операции с данными:

1. Извлечение – перемещение информации от источников данных в отдельную базу данных. Данные в хранилище попадают прямо или косвенно из OLTP-систем, которые предназначены для автоматизации бизнес-процессов. Кроме того, хранилище данных может пополняться за счет внешних источников, например, статистических отчетов. Для извлечения данных существует множество инструментов, включая утилиты, предоставляемые системами поддержки принятия решений (СППР), пользовательские программы извлечения и коммерческие продукты извлечения (общего назначения).
2. Очистка данных. Обычно она предусматривает: заполнение отсутствующих значений; устранение ошибок, допущенных при вводе данных; определение стандартных сокращений и форматов; замену синонимов стандартными идентификаторами; устранение несоответствия типов, размеров и других свойств данных. Например, если даты представляются в разных форматах и называются по-разному, – «дата выполнения», «дата «исполнения», то данные несоответствия устраняются. Данные, которые определяются как ошибочные и не могут быть исправлены, отбрасываются.
3. Консолидация данных. Это процесс слияния данных, поступивших из нескольких разных источников, когда любая неявная связь между данными из отдельных источников преобразуется в явную путем введения явных значений данных. Кроме того, если отдельные значения даты и времени связаны и имеют определенный деловой смысл, они должны быть проконтролированы и приведены в соответствие между отдельными источниками. Этот процесс называется синхронизацией времени.
4. Преобразование данных. После очистки и консолидации данных полученная информация, скорее всего, еще не будет отвечать требованиям СППР, и, следовательно, будет нуждаться в соответствующем преобразовании – подготовке к хранению в оптимальной форме для реализации запросов, необходимых для принятия решений. Данные для пользователя удобно представлять в многомерных базах данных, где в качестве измерений могут выступать временные интервалы, географические регионы. Для разработки эффективного процесса преобразования данных необходима хорошо проработанная модель корпоративных данных и модель технологии принятия решений.
5. Загрузка – помещение данных в хранилище. Она разбивается на этапы:
   1. пересылка консолидированных и преобразованных данных в базу данных поддержки принятия решений;
   2. проверка целостности данных; – построение необходимых индексов, обеспечивающих быстрое выполнение запросов.
6. Обновление данных – производится атомарно, путем добавления новых фактов или корректировкой существующих. Обычно предусматривают частичную загрузку.

---

Использование хранилищ данных предполагает анализ – сводные отчеты, OLAP, Data Mining. Data Mining – это технология интеллектуального анализа данных с целью выявления скрытых закономерностей в виде значимых особенностей, зависимостей, тенденций и шаблонов. Она позволяет исследовать и обнаруживать алгоритмами и средствами искусственного интеллекта в данных закономерности, которые ранее не были известны, нетривиальны, практически полезны, доступны для интерпретации человеком и необходимы для принятия решений в различных сферах деятельности.

Хранилища данных не заменяют, а дополняют традиционные оперативные базы данных. В пользу внедрения хранилищ данных можно привести следующие аргументы. Хранилище данных – это логически интегрированный источник данных для информационных систем, руководителей, систем анализа данных, систем обнаружения новых данных (Data Mining) и систем принятия решений, а не собственно поддержки каждодневных бизнеспроцедур предприятия, и поэтому многие принципы технологии баз данных утрачивают в хранилище данных свое значение.

Технология хранения данных в хранилище обеспечивает адекватную основу для информационной поддержки деятельности руководителей предприятий в области принятия решений и дает преимущества в тех областях деятельности, которые связаны с управлением и использованием долговременно хранимой информации, а именно:

1. предприятие получает взгляд на данные как на единое целое, что, например, дает ответы на такие вопросы, как:
   1. Сколько продуктов реально производится?
   2. Что влияет на изменение спроса?
   3. Какие товары или услуги приносят наибольший доход?
   4. Каковы особенности и предпочтения клиентов?;
2. возрастает надежность данных для принятия решений. Данные, загружаемые в хранилище, подвергаются очистке – согласуются, проверяются, уточняются;
3. появляется возможность эффективного геопространственного анализа данных, имеющего решающее значение в принятии решений по всем вопросам, связанным с географией бизнеса;
4. исследование трендов и колебаний в бизнес-данных с помощью хранилищ позволяет достаточно надежно прогнозировать развитие бизнес-процессов предприятия во времени.

Таким образом, автор считает необходимым освоение специалистами экономического профиля OLAP-технологии, несущей преимущества для бизнес-анализа по сравнению с традиционными методами числового и статистического анализа.

---