ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 01.05.2021
Просмотров: 250
Скачиваний: 2
Критерий выдачи- формальное правило, совокупность признаков, по которым определяется степень формальной релевантности поискового образа документа и поискового предписания и принимается решение о выдаче/невыдаче некоторого документа в ответ на информационный запрос.
Ранжированием в применении к поисковым системам называют сортировку сайтов в поисковой выдаче. Как правило, существует множество факторов для ранжирования, среди которых можно отметить рейтинг сайта, количество и качество внешних ссылок, релевантность текста к поисковому запросу и многие другие, на основании которых поисковая система формирует список сайтов в поисковой выдаче.
PageRank (пэйдж-ранк) — один из алгоритмов ссылочного ранжирования. Алгоритм применяется к коллекции документов, связанных гиперссылками (таких, как веб-страницы из всемирной паутины), и назначает каждому из них некоторое численное значение, измеряющее его «важность» или «авторитетность» среди остальных документов. Вообще говоря, алгоритм может применяться не только к веб-страницам, но и к любому набору объектов, связанных между собой взаимными ссылками, то есть к любому графу.
PageRank — это числовая величина, характеризующая «важность» веб-страницы. Чем больше ссылок на страницу, тем она «важнее». Кроме того, «вес» страницы А определяется весом ссылки, передаваемой страницей B. Таким образом, PageRank — это метод вычисления веса страницы путём подсчёта важности ссылок на неё.
Алгоритм HITS (англ. Hyperlink Induced Topic Search), предложенный в 1999 году Джоном Клейнбергом, позволяет находить Интернет-страницы, соответствующие запросу пользователя, на основе информации, заложенной в гиперссылки. Метрика HITS часто используется для ответа на широкую тему запросов и нахождения сообществ документов(англ. Tightly-Knit Community), в Интернете. Идея алгоритма основана на предположении, что гиперссылки кодируют значительное количество скрытых авторитетных страниц.
Первым шагом в алгоритме HITS, является получение наиболее релевантных страниц в поисковом запросе. Это множество называется корневым набором и может быть получено путем принятия самых популярных страниц n, возвращаемых текстовым алгоритмом поиска. Базовый набор формируется путем увеличения корневого набора со всеми веб-страницами, которые с ним связаны и с некоторыми страницами, ссылающихся на него. Веб-страницы в базовом наборе и все гиперссылки между этих страниц, образуют сосредоточенный подграф. HITS вычисления выполняются только на этом подграфе.
Оценки авторитетного документа и посредника определены в терминах друг друга во взаимной рекурсии. Оценка авторитетности страницы вычисляется как сумма значений оценок посреднических страниц, которые указывают на эту страницу. Значение оценки посредника вычисляется как сумма оценок авторитетных страниц, на которые он указывает
Алгоритм выполняет ряд итераций, каждая из которых состоит из двух основных этапов:
-
Обновление авторитетности. Обновление авторитетной оценки каждой вершины подграфа, эквивалентное сумме посреднических оценок каждой из вершин, указывающих на них.
-
Хаб-обновление. Обновление посреднической оценки каждой вершины подграфа, путем суммирования авторитетных оценок каждой из вершин, на которые они указывают.
Оценка авторитетности и посредническая оценка для вершины рассчитывается по следующему алгоритму:
-
Начните с вершин, оценка авторитетности и посредническая оценка которых равна 1.
-
Выполнение правила обновления авторитетности.
-
Выполнение правила хаб-обновления.
-
Нормализация значений путем деления каждой посреднической оценки на корень квадратный из суммы квадратов всех посреднических оценок, и деления каждой оценки авторитетности на корень квадратный из суммы квадратов всех оценок авторитетности.
-
Повторение со второго шага по мере необходимости.
-
Архитектуры Информационно-поисковых систем(ИПС): распределенные, метапоисковые .
Client (клиент) на этой схеме - это программа просмотра конкретного информационного ресурса. Наиболее популярны сегодня мультипротокольные программы типа Netscape Navigator. Такая программа обеспечивает просмотр документов WWW, Gopher, Wais, FTP-архивов, почтовых списков рассылки и групп новостей Usenet. В свою очередь все эти информационные ресурсы являются объектом поиска информационно-поисковой системы.
User interface (пользовательский интерфейс) - это не просто программа просмотра, в случае информационно-поисковой системы под этим словосочетанием понимают также способ общения пользователя с поисковым аппаратом: системой формирования запросов и просмотров результатов поиска.
Search engine (поисковая машина) - служит для трансляции запроса на информационно-поисковом языке (ИПЯ), в формальный запрос системы, поиска ссылок на информационные ресурсы Сети и выдачи результатов этого поиска пользователю.
Index database (индекс базы данных) - индекс, который является основным массивом данных ИПС и служит для поиска адреса информационного ресурса. Архитектура индекса устроена таким образом, чтобы поиск происходил максимально быстро и при этом можно было бы оценить ценность каждого из найденных информационных ресурсов сети.
Queries (запросы пользователя) - сохраняются в его (пользователя) личной базе данных. На отладку каждого запроса уходит достаточно много времени, и поэтому чрезвычайно важно запоминать запросы, на которые система дает хорошие ответы.
Index robot (робот-индексировщик) - служит для сканирования Internet и поддержания базы данных индекса в актуальном состоянии. Эта программа является основным источником информации о состоянии информационных ресурсов сети.
WWW sites - это весь Internet или точнее - информационные ресурсы, просмотр которых обеспечивается программами просмотра.
Заметим, что различные поисковые системы описывают разное количество источников информации в Internet. Поэтому нельзя ограничиваться поиском только в одной из поисковых систем. Познакомимся с инструментами поиска, которые не формируют собственный индекс, но умеют использовать возможности других поисковых систем. Это метапоисковые системы (поисковые службы, Metacrawlers), способные послать запрос пользователя одновременно нескольким поисковым серверам, отобрать ограниченное число самых релевантных источников информации, которые, как правило, размещены вверху результирующего списка, затем объединить полученные результаты и представить их пользователю в виде документа со ссылками. Возможности расширенного поиска в таких системах означают выбор конкретных поисковых систем для проведения поиска.
Адреса известных метапоисковых систем:
MetaCrawler (http://www.metacrawler.com);
Search.com (http://www.search.com);
Dogpile (http://www.dogpile.com).
Собственно
в
основе распределенных
АИС
лежат две основные идеи:
• много
организационно и физически распределенных
пользователей, одновременно работающих
с общими данными — общей базой данных
(пользователи с разными именами, в том
числе располагающимися на различных
вычислительных установках, с различными
полномочиями и задачами);
• логически
и физически распределенные данные,
составляющие и образующие тем не менее
единое взаимосогласованное целое —
общую базу данных (отдельные таблицы,
записи и даже поля могут располагаться
на различных вычислительных установках
или входить в различные локальные базы
данных).
Крис Дейт сформулировал
также основные
принципы
создания и функционирования распределенных
баз данных. К их числу относятся:
•
прозрачность
расположения данных для пользователя
(иначе говоря, для пользователя
распределенная база данных должна
представляться и выглядеть точно так
же, как и нераспределенная);
•
изолированность
пользователей друг от друга
(пользователь должен «не чувствовать»,
«не видеть» работу других пользователей
в тот момент, когда он изменяет, обновляет,
удаляет данные);
• синхронизация
и согласованность
(непротиворечивость)состояния
данных
в
любой момент времени.
Из
основных вытекает ряд дополнительных
принципов:
•
локальная
автономия
(ни одна вычислительная установка для
своего успешного функционирования не
должна зависеть от любой другой
установки);
• отсутствие
центральной установки
(следствие предыдущего пункта);
•
независимость
от местоположения
(пользователю все равно где физически
находятся данные, он работает так, как
будто они находятся на его локальной
установке);
• непрерывность
функционирования
(отсутствие плановых отключений системы
в целом, например для подключения новой
установки или обновления версии СУБД);
•
независимость
от фрагментации данных
(как от горизонтальной фрагментации,
когда различные группы записей одной
таблицы размещены на различных установках
или в различных локальных базах, так и
от вертикальной фрагментации, когда
различные поля-столбцы одной таблицы
размещены на разных установках);
•
независимость
от реплицирования
(дублирования) данных (когда какая-либо
таблица базы данных, или ее часть
физически может быть представлена
несколькими копиями, расположенными
на различных установках, причем
«прозрачно» для пользователя);
•
распределенная
обработка запросов
(оптимизация запросов должна носить
распределенный характер — сначала
глобальная оптимизация, а далее локальная
оптимизация на каждой из задействованных
установок);
• распределенное
управление транзакциями
(в распределенной системе отдельная
транзакция может требовать выполнения
действий на разных установках, транзакция
считается завершенной, если она успешно
завершена на всех вовлеченных
установках);
• независимость
от аппаратуры
(желательно, чтобы система могла
функционировать на установках, включающих
компьютеры разных типов);
• независимость
от типа операционной системы
(система должна функционировать вне
зависимости от возможного различия ОС
на различных вычислительных установках);
•
независимость
от коммуникационной сети
(возможность функционирования в разных
коммуникационных средах);
•
независимость
от СУБД*
(на разных установках могут функционировать
СУБД различного типа, на практике
ограничиваемые кругом СУБД, поддерживающих
SQL).
Важнейшую
роль в технологии создания и функционирования
распределенных баз данных играет техника
«представлений» (Views).
Представлением
называется сохраняемый
в базе данных авторизованный глобальный
запрос на выборку данных.
Авторизованность означает возможность
запуска такого запроса только конкретно
поименованным в системе пользователем.
Глобальность заключается в том, что
выборка данных может осуществляться
со
всей базы данных,
в том числе из данных, расположенных на
других вычислительных установках.
Напомним, что результатом запроса на
выборку является набор данных,
представляющий временную на сеанс
открытого запроса таблицу, с которой
(которыми) в дальнейшем можно работать,
как с обычными реляционными таблицами
данных. В результате таких глобальных
авторизованных запросов для конкретного
пользователя создается некая виртуальная
база данных
со
своим перечнем таблиц, связей, т. е. со
«своей» схемой и со «своими» данными.
В принципе, с точки зрения информационных
задач, в большинстве случаев пользователю
безразлично, где и в каком виде находятся
собственно сами данные. Данные должны
быть такими и логически организованы
таким образом, чтобы можно было решать
требуемые информационные задачи и
выполнять установленные функции.
Несмотря на простоту и определенную изящность идеи «представлений», практическая реализация подобной технологии построения и функционирования распределенных систем встречает ряд серьезных проблем. Первая из них связана с размещением системного каталога базы данных, ибо при формировании для пользователя «представления» распределенной базы данных ядро СУБД в первую очередь должно «узнать», где и в каком виде в действительности находятся данные. Требование отсутствия центральной установки приводит к выводу о том, что системный каталог должен быть на любой локальной установке. Но тогда возникает проблема обновлений. Если какой-либо пользователь изменил данные или их структуру в системе, то эти изменения должны отразиться во всех копиях системного каталога. Однако размножение обновлений системного каталога может встретить трудности в виде недоступности (занятости) системных каталогов на других установках в момент распространения обновлений. В результате может быть не обеспечена непрерывность согласованного состояния данных, а также возникнуть ряд других проблем.