Файл: Технологии интеллектуального анализа данных (по информационной технологии).pdf
Добавлен: 06.07.2023
Просмотров: 172
Скачиваний: 1
ВВЕДЕНИЕ
Мыслительный разбор предоставленных Data Mining — это современная разработка разбора информации. Установку предоставленной схемы — установление в скопленных данных, требуемых для принятия подходящих заключений в разнообразных площадях человечной деятельности. И в заключительнее время останавливается всегда больше знаменитой у предприятий незначительного и посредственного бизнеса, но не исключительно в нешироком кругу специалистов, будто было это пару лет назад.
Надстройки умственного разбора предоставленных Microsoft SQL
Server 2005 (2008) ради Office 2007 (или Microsoft SQL Server 2008
для Office 2010) специализированы для выявления спрятанных стандартов
и взаимосвязей в данных, дабы рационализировать свойство и глубину их
Для использования данных элемент вы должны располагать
вероятность подсаживаться к базе предоставленных SQL Server 2005 (или
2008) Analysis Services. Но для службы с элементами SQL Server
Analysis Services посредством MS Office существование познаний и эксперимента службы с
серверными базами предоставленных не обязательно.
Ингредиенты умственного разбора предоставленных MS Office
2007 приемлемы для бесплатной загрузки и заключаются из:
• лекарств разбора табличных предоставленных ради Excel, какие дают возможность использовать Analysis Services для анализа и выявления закономерностей в предоставленных изо электрических таблиц
Microsoft Excel;
• абонентных ингредиентов Data Mining ради Excel, предоставляющих вероятность ради создания, опции и сопровождения плана Data Mining. В этой доли надстройки
даются да имущества для:
— подготовки данных;
— построения, оценки и управления моделями;
— извлечения итогов моделирования с применением как табличных предоставленных Excel яко источника, этак и внешних источников, вразумительных информационной базе
Analysis Services;
• стандартов Data Mining для Visio, какие дают
вероятность графичного отображения, форматирования, изображения и распространения итогов прогнозирования Data Mining в варианте диаграмм.
Впоследствии отрекомендуемся с этими элементами подробнее.
В пособии употребляется континуум «SQL Server 2005», сиречь «SQL
Server», однако все рассматриваемые способности имеются и в
версии «SQL Server 2008». Все, что впоследствии описано, причисляется к
версиям Microsoft SQL Server 2005 (или выше) и Microsoft Excel
2007 (или выше).
Все алгоритмы Analysis Services, пересмотренные далее, реализованы компанией Microsoft; необыкновенности употребления подобных алгоритмов прочих компаний (например, Oracle) тут не рассматриваются.
Утилитарные поручения по темам разыскиваются в сетном каталоге.
Основные понятия интеллектуального анализа данных
Мыслительный разбор предоставленных ежеминутно описывается будто ход извлечения допустимых, правдивых данных, а да предоставленных
с быстрым проходом изо большущих загон данных. Или, мыслительный разбор извлекает трафареты и тренды, имеющиеся в данных. Таковые трафареты и тренды могут являться сосредоточены совокупно и определены как модель умственного разбора данных.
Модификации умственного разбора предоставленных могут приспособляться к
определенным бизнес-сценариям, например:
• предсказание продаж;
• почтовая экспедиция поставленным клиентам;
• установление продуктов, какие с высокой частью вероятности могут являться преданы вместе;
• обнаружение последовательностей в том порядке, в каком покупатели прибавляют продукты в корзинку ради покупок.
Необходимо понимать, что построение модификации умственного
разбора предоставленных представляется комбинированный частично больше глубокого
процесса, начинающегося с определения базисной проблемы, какую модификацию будет решать, и заканчивающегося развертыванием
данной модификации в рабочей среде. Переданный ход может статься установлен
через последующих шести базисных шагов:
- Установка задачи.
- Организация данных.
- Досмотр данных.
- Устройство моделей.
- Свидетельство и наладка моделей.
- Учреждение и возобновление моделей.
На следующей диаграмме презентованы связи промежду
всеми шагами хода и схемы Microsoft SQL Server 2005,
какие возможно утилизировать ради исполнения любого шага.
Впрочем олицетворенный ход перемещает периодический характер,
всякий ход не очень нужно проводит начистоту к следующему шагу.
Создание модификации умственного разбора предоставленных препровождает собой динамичный итерационный процесс. Сделав анализ
данных, читатель возможно обнаружить, что существующих предоставленных немного для создания спрашиваемых модификаций умственного разбора данных, что, соответственно, проводит к необходимости розыска добавочных данных. Возможно подготовить порядочно модификаций и понять, что они не решают сформулированной
Следовательно, спрашивается модифицирование черт задачи. Следовательно, необходимо понимать, что создание модификации умственного разбора предоставленных представляется процессом и что самое характерно всякий
шаг такого хода возможно существовать вторичен сколько раз, сколько
должно ради создания действенной модели.
SQL Server 2005 препровождает интегрированную сферу для создания и работы с моделями умственного разбора данных,
знаменитую будто обстановка Business Intelligence Development Studio. Предоставленная обстановка охватывает методы умственного разбора предоставленных и средства, облегчающие разработку подробного решения, практического в масштабах самых многообразных проектов.
Постановка задачи
Пробным камнем хода умственного разбора предоставленных
представляется отчетливое установление бизнес-задачи.
Данный ход охватывает разбор бизнес-требований, установление
масштаба проблемы, метрик, после каким будет материализоваться
критика модели, и установление окончательной миссии плана умственного разбора данных. Эти задачи возможно сконструировать нечто вроде последующих вопросов:
• Что должно найти?
• Какой-никакой признак комплекта предоставленных должно предсказать?
• Какие образа связей должно найти?
• Надобно ли делать мониторинги для основании модификации умственного разбора предоставленных сиречь элементарно обнаружить увлекающие трафареты и связи?
• Каким манером распределяются данные?
• Будто объединены столбцы, ну а в случае с несколькими таблицами — будто объединены таблицы?
Дабы откликнуться на эти вопросы, возможно, понадобится обследовать уровень доступности данных, выучить необходимости юзеров о вразумительных данных. Ежели материалы не поддерживают необходимостей пользователей, то может завязаться потребность в изменении нахождения проекта.
Подготовка данных
Вторым шажком хода умственного разбора предоставленных
представляется соединение и очистка данных, какие водились явны в течение основного шага.
Работы Microsoft SQL Server 2005 Integration Services (SSIS) держат всегда средства, неотложные для завершения предоставленного шага,
начиная переустройства для очистки и объединения данных.
Материалы могут обретаться в многообразных долях бражки и сберегаться в разнообразных форматах или содержать таковые погрешности согласования, будто недостаточные сиречь недостающие записи.
Например, единодушно предоставленным возможно оказаться, что посетитель приобрел
продукт вновь до своего рождения сиречь систематически осуществляет закупки в
магазине, размещенном за 2000 километров через дома. До того как
преступить к разработке моделей, должно ликвидировать эти несоответствия.
Естественно читатель функционирует с бесконечно огромным комплектом предоставленных не возможно пропустить любую транзакцию.
для просмотра предоставленных и раскрытия несогласованности в них должно утилизировать какой-никакого характер автоматизации, скажем
тот, некоторый присутствует в службах Integration Services.
Просмотр данных
Третьим шажком хода умственного разбора предоставленных
представляется досмотр приготовленных данных.
Для принятия справедливых заключений при создании модификаций должно соображать данные.
Технологии изыскания предоставленных подключают в себя ставок маленьких и максимальных значений, ставок посредственных и обыкновенных отклонений и изучение распределения данных.
Спустя изыскания предоставленных возможно определить, охватывает ли
комплект предоставленных недостаточные материалы или нет, а затем подготовить
стратегию после уничтожению несоответствий.
Дизайнер изображений родников предоставленных между
BI Development Studio охватывает порядочно средств, какие возможно утилизировать ради просмотра данных.
Построение моделей
Четвертым шажком хода умственного разбора предоставленных представляется устройство модификаций умственного разбора.
До того как воздвигнуть модель, должно беспорядочным манером
разъединить специализированные материалы в раздельные комплекты натаскивающих и ревизорских данных.
Комплект натаскивающих предоставленных употребляется для построения модели, а ревизорский комплект предоставленных — для испытания пунктуальности модели. Дабы разъединить комплект
данных, возможно утилизировать Преображение «Процентная выборка» в службах Integration Services.
Знания, приобретенные при выполнении шага 3 «Просмотр данных»,
помогут предназначить и создать модификацию умственного разбора данных. Естественно модификацию охватывает входные столбцы, идентифицирующий
столбик и предсказываемый столбец. Материалы столбики возможно впоследствии
предназначить в свежеиспеченной модификации через слога расширений умственного разбора предоставленных сиречь профессионала умственного разбора предоставленных между BI Development Studio.
Спустя нахождения текстуры модификации умственного разбора предоставленных проделывается ее обработка и наполнение пустопорожний
текстуры шаблонами, обрисовывающими модель. Переданный ход
известен будто образование модели. Трафареты обнаруживаются хорошенько использования о начальных предоставленных точного алгоритма. SQL Server 2005 охватывает самостоятельный гамма-алгоритм для каждого типа модели, вразумительной ради построения. Для настройки любого метода применяют параметры.
Модификацию умственного разбора предоставленных обусловливается предметом текстуры умственного разбора данных, предметом
модификации умственного разбора предоставленных и алгоритмом умственного разбора данных.
Работы Microsoft SQL Server 2005 Analysis Services (SSAS) держат последующие алгоритмы:
• гамма-алгоритм бревна принятия заключений (Microsoft);
• гамма-алгоритм кластеризации (Microsoft);
• примитивный гамма-алгоритм Байеса (Microsoft);
• гамма-алгоритм связей (Microsoft);
• гамма-алгоритм кластеризации последовательностей (Microsoft);
• гамма-алгоритм скоротечных строев (Microsoft);
• гамма-алгоритм нейронной узы (Microsoft) (службы SSAS);
• гамма-алгоритм логистической регрессии (Microsoft);
• гамма-алгоритм прямолинейной регрессии (Microsoft).
Исследование и проверка моделей
Пятым шажком хода умственного разбора предоставленных представляется свидетельство сооруженных модификаций и проверка их эффективности.
До того как раскрутить модификацию в рабочей среде, должно
обследовать действительность службы модели. Кроме, возможно,
водился сотворено порядочно моделей, и необходимо выяснить, какая
из них преимущественно эффективна. Ежели ни одна изо моделей, разработанных при выполнении шага 4 «Построение моделей», не обладает
необходимой эффективностью, возможно завязаться потребность возвратиться к предыдущему шагу хода и либо скорректировать постановку
задачи, либо осуществить вторичное расследование предоставленных в исходном
комплекте данных.
Тренды и шаблоны, выказываемые алгоритмами, возможно обследовать около поддержки лекарств просмотра в конструкторе умственного разбора предоставленных между BI Development Studio.
прогнозов, организовываемых моделями, возможно обследовать около поддержки таковых лекарств конструктора, как диаграмма пунктуальности предвещаний и матрица классификации. Для этих лекарств спрашиваются