Файл: Реферат дисциплина Надежность информационных систем Тема Классификационные признаки аналитических методов студент группы ин518(2) Ф. И. О. Постнов А. В. Город Омск.docx

Следует подчеркнуть, что информационно-аналитическая система - это не готовый продукт или семейство продуктов. Успех реализации информационно-аналитической системы зависит от правильного выбора и максимально тесной интеграции используемых для его реализации средств.

Типовыми компонентами информационно-аналитических систем на основе хранилищ данных являются:

• 
  автоматизированные и информационные OLTP-системы, которые рассматриваются как источники данных для хранилища данных;
  
• 
  средства извлечения, преобразования, согласования и транспортировки данных;
  
• 
  средства моделирования, используемые для подготовки информационной модели, описывающей существующие структуры данных в источниках их получения (оперативных базах, архивах и т.д.); правила, процедуры и периодичность их выборки, согласования и агрегации, целевые структуры данных в хранилище данных; процедуры формирования регламентов выборки и представления данных;
  
• 
  репозиторий, используемый для хранения описаний моделей данных и метаданных;
  
• 
  средства реализации баз данных хранилища данных;
  
• 
  инструментальные средства реализации регламентированных процедур выборки и представления данных (регламентированные запросы);
  
• 
  инструментальные средства конечного пользователя, предназначенные для формирования нерегламентированных запросов, выполняемых в пакетном режиме;
  
• 
  инструментальные средства конечного пользователя, предназначенные для формирования нерегламентированных запросов, выполняемых в оперативном режиме.
  

1.4 Функциональная модель информационно-аналитической системы

Функциональная модель информационно-аналитической системы, базирующейся на хранилище данных (см. рисунок 1), включает следующие основные компоненты:

• 
  операционные данные в существующих источниках данных (файлах, базах данных, внешних источниках информации);
  
• 
  процессы доступа, извлечения, очистки, преобразования, интеграции, суммаризации, объединения, и загрузки операционных данных;
  
• 
  метаданные;
  
• 
  процессы управления накоплением данных и сопровождения метаданных;
  
• 
  процессы доставки аналитических данных конечным пользователям;
  
• 
  процессы исследования и анализа данных;
  
• 
  аналитические данные в базе данных информационного хранилища.
  

---

Рисунок 1. Функциональная модель информационно-аналитической системы

1.5 Источники данных

В качестве источников данных для информационно-аналитической системы выступают операционные данные, то есть данные, обрабатываемые существующими автоматизированными системами. Эти системы собирают огромные количества детализированных данных, необходимых для ежедневной работы. Можно выделить следующие характеристики операционных данных:

• 
  данные хранятся в сложных структурах, для осуществления доступа к которым часто требуется использование специализированных программных инструментов;
  
• 
  данные структурируются для оптимизации производительности и хранения, а не для нестандартных запросов или аналитических отчетов;
  
• 
  данные распределены между различными доставшимися по наследству разнородными системами, разработанными в разное время;
  
• 
  при разработке информационных систем применялись различные технологии хранения данных, которые не могут обеспечить быстрый и прозрачный доступ к ним;
  
• 
  отсутствие единой стратегии в проектировании баз данных часто приводит к тому, что на каждом отрезке времени принимаются различные обозначения для одних и тех же элементов данных.
  

1.6 Процессы аналитической обработки данных

Анализ данных базируется на технологиях интерактивной аналитической обработки данных OLAP (On-Line Analytical Processing) /4/, глубинного анализа данных (Data Mining) и визуализации данных.

OLAP (On line Analytical Processing) - интерактивная аналитическая обработка данных – это подход к анализу данных и генерации отчетов, позволяющий пользователям легко извлекать электронным способом и рассматривать с различных точек зрения информацию на основе многомерных структур данных, называемых «кубами». OLAP предоставляет информацию пользователям в удобном для анализа виде, выдавая агрегированные данные, по запросу пользователя детализируя их.

В основе технологии OLAP лежит многомерное представление данных, обеспечивающее адекватность методов моделирования данных потребностям их анализа. В многомерной модели данные представляются в виде кубов данных (или гиперкубов), имеющих несколько независимых измерений многомерного пространства данных, при этом каждому измерению соответствует некоторый характеризующий какое-либо качественное свойство данных атрибут - время, территория, категория продукции и т.п. На множестве значений атрибутов могут быть определены иерархические отношения – “год-квартал-месяц”, “регион-город-район”, “услуга-консалтинг-реинжиниринг”. Наборы значений атрибутов определяют ячейки куба, с которыми ассоциируются конкретные значения соответствующих показателей. С использованием такой модели возможен анализ данных с необходимой степенью детализации за счет:

---

• 
  построения сечения (проекции) куба данных путем фиксации значений наборов атрибутов;
  
• 
  обобщения данных на основе использования значений атрибутов более высокого уровня иерархии и агрегирования соответствующих значений показателей;
  
• 
  детализации данных (обратной по отношению к операции обобщения);
  
• 
  вращения куба путем изменения порядка измерений.
  

Технологии глубинного анализа данных позволяют анализировать данные с помощью математических моделей, основанных на статистических, вероятностных или оптимизационных методах, с целью выявления в них заранее неизвестных закономерностей или зависимостей. К задачам глубинного анализа относятся задачи классификации, выявления ассоциаций, поиска типовых образцов на заданном множестве, выявление объектов, не соответствующих общим характеристикам и т.п.

В процессе анализа данных активно используются разнообразные формы их графического представления, облегчающие понимание данных и обеспечивающие возможности качественной оценки их свойств. В случае недостаточности пассивного восприятия применяются операции вращения куба данных, операция пролистывания сечений куба и т.п.

Конечный пользователь может работать с информационно-аналитической системой в двух основных режимах: в режиме построения отчетов и в режиме исследования.

Режим построения отчетов оптимизирован для создания сводных печатных и/или экранных форм с использованием математических вычислений, сравнительного анализа и многих других возможностей, которые позволяют пользователю привести данные к желаемому виду.

Опыт эксплуатации информационно-аналитических систем показал, что для разных задач и разных групп пользователей требуются совершенно разные подходы доступа к данным. Далее приведены возможные решения организации доступа к данным:

• 
  Windows-интерфейс. Пользовательские интерфейсы могут быть реализованы как "толстый" Windows-клиент;
  
• 
  Web-интерфейс. Получение данных через Web-страницы с доступом к любым данным хранилища, а также для выпуска отчетов через Интернет;
  
• 
  Интерпретатор пользовательских интерфейсов. Он позволит пользователям создавать новые экранные формы без перекомпиляции системы;
  
• 
  Пакетная генерация отчетов. Отчеты системы можно выпускать по сценарию и расписанию и рассылать потребителям в готовом виде по e-mail. Так можно обеспечивать сотрудников регулярными пакетами отчетов;
  
• 
  Библиотека прикладных классов. Библиотека прикладных классов может быть объектной оболочкой над базой данных системы и предоставлять удобный и надежный доступ ко всем ее данным;
  
• 
  Хранимые процедуры. Доступ к данным системы можно получить через специальный бизнес-слой - библиотеку хранимых процедур. Это позволяет разрабатывать собственные интерфейсы и аналитические приложения на произвольных языках программирования (Delphi, C++ и пр.).
  

---

Библиотека хранимых процедур может быть разработана таким образом, чтобы предоставлять доступ ко всем данным на чтение, изменение и запись. Для каждого вида объектов (счета, документы, клиенты) можно разработать специальные генерируемые аналитические процедуры, оптимизированные для создания аналитических приложений. Такие как перечисленные ниже:

• 
  Генератор аналитических выборок. Аналитические выборки могут применяться внешними OLAP-инструментами, такими как BusinessObjects, произвольными генераторами отчетов, такими как Crystal Report, другими системами;
  
• 
  Генератор регламентированных отчетов. Встроенный в систему генератор отчетов позволяет создать отчет автоматически на основе заданной аналитической выборки или при помощи визуального редактора настроить отчет произвольной формы;
  
• 
  Com-интерфейс. Для доступа к данным хранилища из сред программирования типа Visual Basic можно разработать специальный COM объект, через который можно будет вызывать хранимые процедуры системы. Любое VBA-приложение (Excel, Word) или среда разработки, поддерживающая COM (MS Visual Studio, Visual Foxpro, Access) сможет использовать данные системы;
  
• 
  Библиотека функций MS Excel. При установке клиентского модуля системы в Excel добавляется библиотека пользовательских функций. Эта библиотека позволяет создавать произвольные отчеты в Excel с использованием данных системы нетехническим пользователям: бухгалтерам, экономистам;
  
• 
  Прямой OLAP-анализ. Для выпуска отчетов и произвольного анализа данных может быть разработан универсальный OLAP-клиент, который предоставит конечным пользователям в зависимости от их потребностей и квалификации инструменты выпуска заранее жестко сконфигурированных отчетов, выпуска заранее настроенных динамических отчетов, быстрой настройки без программирования собственных отчетов;
  
• 
  Генерация микрокубов. Микрокуб содержит в себе упакованный набор данных. Он, подобно книге Excel, является универсальным контейнером аналитических приложений;
  
• 
  Сценарии выгрузки данных. Может быть разработан специальный модуль экспорта данных во внешние системы. Он позволит вести список внешних потребителей данных, конструировать сценарии выгрузки обновлений данных, журнализацию выгрузки. Однажды созданный сценарий может запускаться постоянно по расписанию или однократно по запросу. Эта технология позволяет создавать распределенные хранилища данных для сверхкрупных организаций.
  

---

Режим исследования необходим в том случае, когда пользователю заранее неизвестно, какую информацию и в какой форме он хочет получить. Пользователь лишь исследует данные, выясняя их характеристики с различных точек зрения. Автоматизированный процесс исследования тенденций, моделей и взаимосвязей в данных включает в себя применение статистических методов или искусственного интеллекта для выявления скрытых закономерностей, которые не могут быть обнаружены непосредственно или на интуитивном уровне. Исследование данных позволяет обнаруживать ассоциации (корреляцию между событиями), последовательности (события, ведущие к другим событиям), осуществлять разбиение совокупностей на группы (поиск и визуализация новых групп факторов) и прогнозировать (формировать модели данных, которые позволяют строить прогноз).

Процесс исследования данных включает в себя три основных операции:

• 
  получение среза информации;
  
• 
  представление информации;
  
• 
  детализация информации.
  

Поскольку хранилище данных отражает пространственную организацию предметной области, существует возможность выбрать любые две оси и сделать по ним срез.

Получив срез данных, важно выявить в нем исключительные значения показателей. Самым простым способом поиска подобных величин является представление их в виде диаграммы или графика. Операция представления информации позволяет показать числа в виде столбцов гистограммы или секторов диаграммы.

Выявив исключительные значения, требуется понять, как они возникли, из чего сложены. Применив операцию детализации, можно раскрыть любое значение на его составляющие.

В результате исследования может быть построен отчет. Однако важно подчеркнуть, что приступая к его построению, пользователь заранее не знает, какие данные будут в него включены и какова будет структура самого отчета. Это отличает режим исследования от режима построения отчетов, в котором пользователь заранее предполагает состав данных, структуру и внешний вид отчета.
1.7 Создание информационно-аналитических систем (ИАС)
Основой современной индустрии программных средств и решающим фактором успеха при создании информационно-аналитических систем является технология их создания. Информационно-аналитические системы – это особый класс информационных систем, предназначенных для аналитической обработки данных, а не для автоматизации повседневной деятельности организации. Информационно-аналитические системы объединяют, анализируют и хранят как единое целое информацию, извлекаемую как из учетных баз данных организации, так и из внешних источников. Входящие в состав информационно-аналитических систем хранилища данных обеспечивают преобразование больших объемов сильно детализированных данных в обобщенную выверенную информацию, которая пригодна для принятия обоснованных решений. В отличие от обычных баз данных хранилища содержат обработанное, упорядоченное и понятное руководителям представление данных. Хранилище данных является сборочным конвейером по подготовке информации в интегрированном, непротиворечивом, наглядном виде для поддержки принятия управленческих решений.

---