Файл: Конспект лекций по дисциплине информ технол.doc

•Многомерное представление данных - средства конечного пользователя, обеспечивающие многомерную визуализацию и манипулирование данными; слой многомерного представления абстрагирован от физической структуры данных и воспринимает данные как многомерные.

•Многомерная обработка - средство (язык) формулирования многомерных запросов (традиционный реляционный язык SQL здесь оказывается непригодным) и процессор, умеющий обработать и выполнить такой запрос.

•Многомерное хранение - средства физической организации данных, обеспечивающие эффективное выполнение многомерных запросов.

Первые два уровня в обязательном порядке присутствуют во всех OLAP- средствах. Третий уровень, хотя и является широко распространенным, не обязателен, так как данные для многомерного представления могут извлекаться и из обычных реляционных структур; процессор многомерных запросов в этом случае транслирует многомерные запросы в SQL-запросы, которые выполняются реляционной СУБД. Конкретные OLAP-продукты, как правило, представляют собой либо средство многомерного представления данных, OLAP-клиент (например, Pivot Tables в Excel 2000 фирмы Microsoft или ProClarity фирмы Knosys), либо многомерную серверную СУБД, OLAP-сервер (например, Oracle Express Server или Microsoft OLAP Services). Слой многомерной обработки обычно бывает встроен в OLAP-клиент и/или в OLAP-сервер, но может быть выделен в чистом виде, как, например, компонент Pivot Table Service фирмы Microsoft.

Технические аспекты многомерного хранения данных

Как уже говорилось выше, средства OLAP-анализа могут извлекать данные и непосредственно из реляционных систем. Такой подход был более привлекательным в те времена, когда OLAP-серверы отсутствовали в прайс-листах ведущих производителей СУБД. Но сегодня и Oracle, и Informix, и Microsoft предлагают полноценные OLAP -серверы, и даже те IT-менеджеры, которые не любят разводить в своих сетях "зоопарк" из ПО разных производителей, могут купить (точнее, обратиться с соответствующей просьбой к руководству компании) OLAP-сервер той же марки, что и основной сервер баз данных.

OLAP-серверы, или серверы многомерных БД, могут хранить свои многомерные данные по-разному. Прежде чем рассмотреть эти способы, нам нужно поговорить о таком важном аспекте, как хранение агрегатов (промежуточных итогов, сумм). Дело в том, что в любом хранилище данных - и в обычном, и в многомерном - наряду с детальными данными, извлекаемыми из оперативных систем, хранятся и суммарные показатели (агрегированные показатели, агрегаты), такие, как суммы объемов продаж по месяцам, по категориям товаров и т. п. Агрегаты хранятся в явном виде с единственной целью - ускорить выполнение запросов. Ведь, с одной стороны, в хранилище накапливается, как правило, очень большой объем данных, а с другой - аналитиков в большинстве случаев интересуют не детальные, а обобщенные показатели. И если каждый раз для вычисления суммы продаж за год пришлось бы суммировать миллионы индивидуальных продаж, скорость, скорее всего, была бы неприемлемой. Поэтому при загрузке данных в многомерную БД вычисляются и сохраняются все суммарные показатели или их часть.

---

Но, как известно, за все надо платить. И за скорость обработки запросов к суммарным данным приходится платить увеличением объемов данных и времени на их загрузку. Причем увеличение объема может стать буквально катастрофическим - в одном из опубликованных стандартных тестов полный подсчет агрегатов для 10 Мб исходных данных потребовал 2,4 Гб, т. е. данные выросли в 240 раз! Степень "разбухания" данных при вычислении агрегатов зависит от количества измерений куба и структуры этих измерений, т. е.

соотношения количества "отцов" и "детей" на разных уровнях измерения. Для решения проблемы хранения агрегатов применяются подчас сложные схемы, позволяющие при вычислении далеко не всех возможных агрегатов достигать значительного повышения производительности выполнения запросов.

Технология «Data Minig»

Технология Data Mining (буквально «добыча информации») явилась попыткой борьбы с чрезмерно большими массивами информации. Технология развивалась из направления исследований «искусственный интеллект», получившего названия в англоязычной литературе “data mining” и “knowledge discovery”. Под “knowledge discovery in databases” (обнаружение знаний в базах данных) (КДД) понимают какой-либо нетривиальный процесс идентификации достоверных, новых, потенциально полезных и хорошо понимаемых образцов (структур, patterns) в данных. Ключевое достоинство «Data Mining» no сравнению с предшествующими методами - возможность автоматического порождения гипотез о взаимосвязи между различными параметрами или компонентами данных.

Сравнение формулировок задач при использовании методов OLAP и Data Mining

OLAP	Data Mining
Каковы средние показатели травматизма для курящих и некурящих?	Встречаются ли точные шаблоны в описаниях людей, подверженных повышенному травматизму?
Каковы средние размеры телефонных счетов существующих клиентов в сравнении со счетами бывших клиентов (отказавшихся от услуг телефонной компании)?	Имеются ли характерные портреты клиентов, которые, по всей вероятности, собираются отказаться от услуг телефонной компании?
Какова средняя величина ежедневных покупок по украденной и не украденной кредитной карточке?	Существуют ли стереотипные схемы покупок для случаев мошенничества с кредитными карточками?

---

Основные методы извлечения фактов

Методы извлечения новых знаний из баз фактов, применяемые в Data Mining, весьма различны – это и статистические процедуры, генетические алгоритмы, нейронные сети, деревья решений, индуктивное логическое программирование и т.д. Общим обстоятельством в различных реализациях Data Mining является то, что данные недостаточно формализованы, но извлекаемость из них посредством компьютерных программ новых полезных знаний возможна.

Выделяют пять стандартных типов закономерностей (эвристик), которые позво- ляют выявлять методы Data Mining:

•ассоциация (выбор типовых сочетаний),

•последовательность (определение типовой последовательности)

•классификация

•кластеризация

•прогнозирование

Интеллектуальная информационная система

Для воплощения технологии извлечения знаний используется информационная система специального типа – «интеллектуальная система», «советующая система», «партнерская система». Уточним термин «интеллектуальная система».

ИС есть компьютерная система для решения классов задач, которые или не могут быть решены человеком в реальное время, или же их решение требует автоматизированной поддержки, или же их решение дает результаты сопоставимые по информативности с решениями человека.

Характеризация компьютерной системы как интеллектуальной будет неполной, если не будут уточнены как природа решаемых задач, так и средства их решения, реализуемые благодаря определенной архитектуре компьютерной системы.

Типовые задачи Data Mining в розничной торговле

Предприятия розничной торговли сегодня собирают подробную информацию о каждой отдельной покупке, используя кредитные карточки с маркой магазина и компьютеризованные системы контроля. Типичные задачи, которые можно решать с помощью Data Mining в сфере розничной торговли, это

•анализ покупательской корзины,

•исследование временных шаблонов,

•создание прогнозирующих моделей.

Анализ покупательской корзины (анализ сходства) предназначен для вы - явления товаров, которые покупатели стремятся приобретать вместе. Знание покупательской корзины необходимо для улучшения рекламы, выработки стратегии создания запасов товаров и способов их раскладки в торговых залах.

---

Исследование временных шаблонов помогает торговым предприятиям принимать решения о создании товарных запасов. Оно дает ответы на вопросы типа: «Если сегодня покупатель приобрел видеокамеру, то через какое время он вероятнее всего купит новые батарейки и пленку?». Создание прогнозирующих моделей дает возможность торговым предприятиям узнавать характер потребностей различных категорий клиентов с определенным поведением, например, покупающих товары известных дизайнеров или посещающих распродажи. Эти знания нужны для разработки точно направленных, экономичных мероприятий по продвижению товаров.

Типовые задачи Data Mining в банковском деле

Выявление мошенничества с кредитными карточками. Путем анализа прошлых транзакций, которые впоследствии оказались мошенническими, банк выявляет некоторые стереотипы такого мошенничества.

Сегментация клиентов. Разбивая клиентов на различные категории, банки делают свою маркетинговую политику более целенаправленной и результативной, предлагая различные виды услуг разным группам клиентов.

Прогнозирование изменений клиентуры. Data Mining помогает банкам строить прогнозные модели ценности своих клиентов и соответствующим образом обслуживать каждую категорию.

Типовые задачи Data Mining в страховой деятельности

Страховые компании в течение ряда лет накапливают большие объемы данных.

Здесь также можно использовать методы Data Mining: для выявления мошенничества и анализа риска.

Выявление мошенничества. Страховые компании могут снизить уровень мошенничества, отыскивая определенные стереотипы в заявлениях о выплате страхового возмещения, характеризующих взаимоотношения между юристами, врачами и заявителями.

Анализ риска. Путем выявления сочетаний факторов, связанных с оплаченными заявлениями, страховщики могут уменьшить свои потери по обязательствам. Известен случай, когда в СИТА крупная страховая компания обнаружила, что суммы, выплаченные по заявлениям людей, состоящих в браке, вдвое превышают суммы по заявлениям одиноких людей. Компания отреагировала на это новое знание пересмотром своей общей политики предоставления скидок семейным клиентам.

Программные средства

Извлечение данных (Data Mining - DM) - одно из самых ценных новшеств SQL Server 2000. В версии SQL Server 7.0 специалисты Microsoft впервые реализовали аналитическую службу OLAP, предоставляющую возможности составления нерегламентированных (гибких) запросов и анализа данных. В процессе работы с нерегламентированными запросами аналитик точно знает, на какие вопросы клиент хотел бы получить ответы, и просто извлекает нужную информацию из куба OLAP. SQL Server 2000 применяет для предоставления возможностей DM новый интерфейс приложений (API), называемый OLE DB for Data Mining (OLE DB for DM). В состав SQL Server 2000 вошли два алгоритма DM, так называемые деревья принятия решений и алгоритм кластеризации.

---

Визуализация данных

Визуализация данных – наглядное представление данных для лица, принимающего решение. представление числовой и текстовой информации в виде графиков, диаграмм, структурных схем, таблиц, карт и т.д. Современные компьютерные технологии используют широкий спектр методов визуализации информации.

Легкость построения графиков и диаграмм с помощью ЭВМ все заметнее меняет когнитивные навыки исследователя. Современные пакеты анализа социологической информации позволяют строить сотни типов различных графиков и диаграмм. Исследователь может одним взглядом обнаружить особенности, выявить закономерности и аномалии в больших объемах информации. Мощным средством анализа информации являются интерактивные средства модификации графических представлений. Особенно широко графические методы используются в разведочном анализе данных, позволяя выявлять закономерности в многомерных массивах информации.

Современные методы визуализации информации широко используются для представления и анализа результатов компьютерного моделирования. Так в методологии иконологического моделирования визуализация позволяет 26 пользователю выявлять различные формы пространственной и временной самоорганизации, анализировать поведение нелинейных систем и процессов.

Благодаря компьютеризации визуализация информации играет все большую роль в повышении эффективности коммуникаций. Использование слайд-фильмов и современных средств вывода информации на большой экран позволяет существенно повысить эффективность лекций, докладов и презентаций. Отметим, что визуализация информации позволяет повысить эффективность коммуникаций и без помощи компьютерных технологий. Так в методологиях исследования мягких систем и качественного анализа данных используются образные схемы. В этих схемах участники проблемных ситуаций выражают свои представления в произвольной форме с помощью примитивных рисунков, графиков, текстовых подписей. Оказалось, что отсутствие стандартизации элементов рисунка не создает коммуникативных затруднений для участников обсуждений. Наоборот, использование невербальных форм представления информации позволяет легко концентрировать внимание на узловых точках проблемы.

Результаты междисциплинарных исследований позволяет уверенно утверждать, что визуализация является одним из наиболее перспективных направлений повышения эффективности методов анализа и представления информации.

---