Файл: Технологии хранилищ данных.pdf

Коалиция метаданных (The Metadata Coalition), отраслевой консорциум 53 производителей, заявила о поддержке Microsoft Repository. Открытые информационные модели получили широкую поддержку у независимых разработчиков ПО.

Более подробную информацию о Microsoft Repository вы найдете в разделе «Microsoft Repository — архитектура, модели и объекты».

5.3.Средства хранения данных

Сердцем хранилища данных является, безусловно, СУБД, обеспечивающая надежное и производительное хранение и обработку данных. Как правило, данные из оперативных БД перемещаются в реляционное хранилище, где они становятся доступными для анализа. В дальнейшем, при использовании OLAP-средств, они могут быть перемещены в многомерную СУБД либо будут выбираться процессором многомерных запросов прямо из реляционных таблиц. Microsoft SQL Server 7.0 обеспечивает как реляционный, так и многомерный вид хранения. Подробную информацию о Microsoft SQL Server можно найти в разделе «Microsoft SQL Server». Ниже кратко перечислены его основные характеристики: сначала возможности реляционной СУБД, а затем — многомерной.

Microsoft SQL Server 7.0 обладает целым рядом свойств, делающих его превосходной платформой для построения хранилищ данных:

• поддержка баз данных, размер которых исчисляется терабайтами;
• масштабируемость как «вверх» — в сторону мощнейших современных аппаратных платформ для поддержки очень больших баз данных, так и «вниз» — в сторону серверов небольших рабочих групп и даже настольных и мобильных компью­теров (при этом обеспечивается полная совместимость);
• улучшенная обработка запросов, обеспечивающая оптимизацию и эффективное выполнение сложных запросов, типичных для хранилищ данных, в частности, запросов по схеме типа «звезда»;
• средства параллельного выполнения сложных запросов;
• эффективные средства настройки производительности, за­грузки данных и построения индексов;
• распределенные запросы, позволяющие выбирать связанные данные из различных ОLE DB-источников;
• надежные и эффективные средства тиражирования данных, незаменимые при поддержке нескольких связанных хранилищ или киосков данных.

Кроме того, средства тиражирования по-прежнему остаются одним из механизмов перемещения данных из оперативной БД в хранилище. Ниже рассматривается ряд механизмов, входящих в состав SQL Server 7.0.

5.4.Средства OLAP-анализа

OLAP (Online Analytical Processing, оперативная аналитическая обработка) — все более популярная технология, которая может коренным образом усовершенствовать анализ данных. Microsoft SQL Server OLAP Services — это новый, полнофункциональный OLAP-сервер, поставляемый в составе SQL Server 7.0. OLAP Services включает в себя собственно сервер, доступный по протоколу OLE DB for OLAP, а также клиентский компонент, являющийся поставщиком протокола OLE DB for OLAP и обеспечивающий эффективное кэширование и возможность локального сохранения многомерных выборок для их дальнейшего анализа без подключения к OLAP-серверу.

Традиционно OLAP характеризовался дорогим инструментарием и сложным процессом реализации. Включение OLAP-функ­циональности в Microsoft SQL Server сделает многомерный анализ значительно более приемлемым с точки зрения затрат для небольших и средних организаций. Кроме того, небольшие группы или отделы в крупных организациях также смогут в полной мере воспользоваться новыми возможностями анализа — от сложной отчетности до продвинутых систем принятия решений.

Средства OLAP-анализа более подробно освещены ниже в статье «Анализ данных в корпоративных системах».

5.5.Средства переноса и трансформации данных

Организация извлечения данных из оперативных БД, их очистки, интеграции и помещения в хранилище может потребовать значительных усилий и затрат, если не пользоваться встроенной в Microsoft SQL Server службой — Data Transformation Services (DTS). DTS обладает следующими свойствами:

• Он на 100% использует OLE DB для доступа как к источнику, так и к приемнику данных. Благодаря этому DTS может извлекать и преобразовывать данные практически из любых источников (и, соответственно, помещать их в любые приемники данных).
• Для переноса и трансформации данных используется расширяемый набор ActiveX-объектов, которыми легко управлять при помощи языка сценариев, например VBScript или JavaScript. Таким образом, имеются практически неограниченные возможности управления переносом и преобразованием данных.
• DTS способен интегрироваться с Microsoft Repository для использования метаданных об источнике, приемнике и схеме преобразования данных.
• Задания по переносу и преобразованию данных, которые могут включать в себя множество последовательных шагов, оформляются в виде пакетов (DTS Package), которые могут быть сохранены в хранилище метаданных (Repository), в базе SQL Server или в файле. Пакеты могут затем автоматически выполняться по расписанию при помощи сервиса SQL Server Agent.

5.6.Средства представления и анализа данных

Именно в сфере средства представления и анализа данных следует ожидать (и уже можно видеть) наибольшее количество продуктов, предлагаемых третьими фирмами, хотя и Microsoft предлагает здесь не только базовые технологии, но и средства для конечного пользователя. К ним относятся компоненты нового поколения Microsoft Office — Office 2000, прежде всего Microsoft Excel. Его популярное средство анализа данных PivotTable® теперь сможет задействовать всю мощь OLAP-сервера, подключаясь к нему через упоминавшийся выше клиентский компонент PivotTable Services.

Еще одно средство от Microsoft — English Query — позволяет строить запросы к SQL Server на естественном языке (по-английски).

Средства представления и анализа более подробно освещены в разделе «Анализ данных в корпоративных системах».

5.7.Средства администрирования

Существенной составляющей расходов на внедрение хранилища данных являются расходы на текущее сопровождение и администрирование хранилища. Средства администрирования, в том числе средства автоматизации выполнения административных задач, предусмотренные Data Warehousing Framework и включенные в состав Microsoft SQL Server 7.0, позволяют значительно сократить эти расходы.

Единой средой администрирования различных компонентов является Microsoft Management Console. Средства управления каждым конкретным компонентом (например, SQL Server или OLAP Services) представляют собой так называемый snap-in, то есть модуль администрирования, использующий единые средства пользовательского интерфейса.

Средство управления SQL Server 7.0 — SQL Enterprise Manager включает в себя более 25 программ-мастеров (Wizards), помогающих не слишком искушенному администратору решать самые важные задачи, в том числе создавать и копировать базы данных, производить настройку тиражирования, импорт/экспорт данных, управлять правами пользователей и т.п.

Кроме того, в SQL Enterprise Manager входят средства создания и редактирования графических диаграмм баз данных, значительно облегчающих создание и модификацию структуры хранилища.

Средства автоматизации администрирования позволяют создавать многоступенчатые задания, состоящие как из команд языка Transact-SQL, так и из сценариев на языках VBScript или JavaScript. При этом выполнение последующих шагов может быть поставлено в зависимость от результатов выполнения предыдущих. Эти задания могут охватывать множество серверов и выполняются по заданному расписанию.

Заключение

В деловой или личной сфере часто приходится работать с данными из разных источников, каждый из которых связан с определённым видом деятельности. Для координации всех этих данных необходимы определённые знания и организационные навыки. MicrosoftAccess объединяет сведения из разных источников в одной реляционной базе данных. Создаваемые формы, запросы и отчёты позволяют быстро и эффективно обновлять данные, получать ответы на вопросы, осуществлять поиск нужных данных, анализировать данные, печатать отчёты, диаграммы и почтовые наклейки.