Файл: поисковые системы в сети интернет..pdf

2.4. Принцип работы поисковых систем

Основные составляющие поисковой системы: поисковик, индексатор, поисковый робот.

Чаще всего системы работают поэтапно. В начале поисковый робот получает контент, после чего индексатором генерируется доступный для поиска индекс, а далее поисковиком обеспечивается функциональность для поиска индексируемых данных. Цикл индексации выполняется повторно для обновления поисковой системы данный^[44].

Поисковые системы работают с хранением информации о многих веб-страницах, получаемых из HTML страниц. Поисковый робот или «Crawler» является программой, автоматически проходящей по всем найденным на странице ссылкам, выделяя их. Исходя из заранее заданного списка адресов или основываясь на ссылках, краулер осуществляет поиск еще не известных поисковой системе новых документов. Владелец сайта имеет возможность исключать определенные страницы при помощи robots.txt, при использовании которого можно запрещать индексацию каталогов сайта, страниц или файлов^[45].

Поисковая система проводит анализ содержания каждой страницы с целью дальнейшего индексирования. Слова могут быть извлечены из текста страницы, заголовков или специальных полей — метатегов. Индексатор является модулем, анализирующим страницу, предварительно разбивая ее на части с применением собственных лексических и морфологических алгоритмов. Все элементы веб-страницы анализируются и вычленяются отдельно. Данные о веб-страницах хранятся в индексной базе данных для использования в последующих запросах. Индекс позволяет быстро находить информацию по запросу пользователя. Ряд подобных Google поисковых систем хранит часть исходной страницы, так называемый кэш, или ее целиком, а также различную информацию о веб-странице. Другие подобные AltaVista системы хранят каждое слово каждой найденной страницы. Использование кэша помогает осуществлять ускорение извлечения информации с уже посещенных страниц. Кэшированные страницы всегда содержат текст, заданный пользователем в поисковом запросе. Данный метод может быть полезен в случае, когда веб-страница обновилась, то есть уже не содержит текст запроса пользователя, а страница в кэше еще старая. Данная ситуация связана с дружественным по отношению к пользователю подходом Google и потерей ссылок, что предполагает выдачу из кэша коротких содержащих текст запроса фрагментов текста. Действует принцип наименьшего удивления, при котором пользователь обычно ожидает найти искомые слова в текстах полученных страниц. Также использование кэшированных страниц ускоряет поиск, и страницы в кэше могут содержать нигде более не доступную информацию^[46].

Поисковик работает с полученными от индексатора выходными файлами. Поисковик принимает пользовательские запросы, обрабатывая их при помощи индекса и возвращая результаты поиска^[47].

Когда пользователь вводит запрос в поисковую систему (чаще всего это происходит при помощи ключевых слов), система при проверке своего индекса выдает отсортированный по какому-либо критерию список наиболее подходящих веб-страниц, чаще всего с содержащей части текста или заголовок документа краткой аннотацией. Поисковый индекс строится по специальной методике на основе извлеченной из веб-страниц информации. С 2007 года поисковик Google позволяет искать с учетом времени создания искомых документов. Большинство поисковых систем поддерживает использование в запросах булевых операторов НЕ, ИЛИ, И,позволяя расширить или уточнить список искомых ключевых слов. При этом система будет искать фразы или слова точно так, как было введено. В некоторых поисковых системах существует возможность приближенного поиска, когда пользователи указывают расстояние до ключевых слов, расширяя область поиска. Также существует концептуальный поиск, когда используется статистический анализ употребления искомых слов и фраз в текстах веб-страниц. Данные системы позволяют составлять запросы на естественном языке. В качестве примера такой поисковой системы можно привести сайт ask com^[48].

Полезность поисковой системы зависит от релевантности найденных ею страниц. Несмотря на то, что миллионы веб-страниц могут включать некую фразу или слово, одни из них могут быть более авторитетны, популярны или релевантны, чем другие. Большинство поисковых систем использует методы ранжирования, для вывода в начало списка лучших результатов. Поисковые системы по-разному решают, какие страницы более релевантны, и в каком порядке должны быть показаны результаты. Методы поиска со временем меняются вместе с самим Интернетом. Таким образом появились два основных типа поисковых систем: системы иерархически упорядоченных и предопределенных ключевых слов и системы с которых генерированием инвертированного индекса на основе анализа текста^[49].

Большинство поисковых систем являются коммерческими предприятиями, получающими прибыль за счет рекламы, в некоторых поисковиках за отдельную плату можно купить первые места в выдаче для заданных ключевых слов. Не берущие денег за порядок выдачи результатов поисковые системы зарабатывают на контекстной рекламе, при этом рекламные сообщения соответствуют запросу пользователя. Данный вид рекламы выводится на странице со списком результатов поиска, и поисковики зарабатывают при каждом клике пользователя на рекламные сообщения^[50] [4, 5].

В целом по главе можно сделать вывод о разнообразности и обширности поисковых систем, имеющих различный функционал и охват аудитории.

Заключение

Центральной задачей информационного поиска является помощь пользователю удовлетворения его информационной потребности. Так как описать информационные потребности пользователя технически не просто, они формулируются как представляющий из себя набор ключевых слов некоторый запрос, который характеризует то, что ищет пользователь.

Классической задачей информационного поиска, с которой началось развитие этой области, является поиск удовлетворяющих запросу документов, в рамках некоторой статической коллекции документов. Но список задач информационного поиска постоянно расширяется и теперь включает:

• классификацию документов;
• вопросы моделирования;
• кластеризацию документов;
• фильтрацию документов;
• языки запросов;
• извлечение информации, в частности реферирования и аннотирования документов;
• проектирование пользовательских интерфейсов и архитектур поисковых систем.

Также, перед движками информационного поиска ставятся некоторые задачи по обработке естественных языков, включающие в себя разрешение лексической многозначности, морфологический анализ и подобные задачи.

Поисковая система представляет собой программно-аппаратный комплекс с веб-интерфейсом, который предоставляет возможность поиска информации в интернете. Используя данный комплекс, пользователь имеет возможность найти любую интересующую его информацию.

В данной работе рассмотрено понятие поисковой системы и история происхождения таких систем от первой базы данных списков Арчи до современных Google и Yahoo! Также выделены разновидности поисковых систем: использующие поисковых роботов системы, каталоги ресурсов, мета-системы и гибридные системы. Рассмотрен принцип работы поисковых систем, при котором на запрос пользователя система проверяет индекс и выдает список подходящих ресурсов.

Отдельным вопросом рассмотрены конкретные поисковые системы Google и Yandex.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Ашманов И. С. Продвижение сайта в поисковых системах / И. С. Ашманов, А. А. Иванов. — М.: Вильямс, 2007. — 304 с.
2. Байков В. Д. Интернет. Поиск информации. Продвижение сайтов / В. Д. Байков. — СПб.: БХВ-Петербург, 2000. — 288 с.
3. Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете / Д. Н. Колисниченко. — М.: Диалектика, 2007. — 272 с.
4. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — 264 с.
5. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — 272 с.
6. Маннинг К. Введение в информационный поиск / К. Маннинг, П. Рагхаван, Х. Шютце. — M.: Вильямс, 2011. — 528 с.

1. Маннинг К. Введение в информационный поиск / К. Маннинг, П. Рагхаван, Х. Шютце. — M.: Вильямс, 2011. — С. 383. ↑

2. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 168. ↑

3. Маннинг К. Введение в информационный поиск / К. Маннинг, П. Рагхаван, Х. Шютце. — M.: Вильямс, 2011. — С. 380. ↑

4. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 105. ↑

5. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 173. ↑

6. Маннинг К. Введение в информационный поиск / К. Маннинг, П. Рагхаван, Х. Шютце. — M.: Вильямс, 2011. — С. 385. ↑

7. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 183. ↑

8. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 111. ↑

9. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 117. ↑

10. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 199. ↑

11. Маннинг К. Введение в информационный поиск / К. Маннинг, П. Рагхаван, Х. Шютце. — M.: Вильямс, 2011. — С. 417. ↑

12. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 126. ↑

13. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 203. ↑

14. Маннинг К. Введение в информационный поиск / К. Маннинг, П. Рагхаван, Х. Шютце. — M.: Вильямс, 2011. — С. 447. ↑

15. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 137. ↑

16. Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете / Д. Н. Колисниченко. — М.: Диалектика, 2007. — С. 105. ↑

17. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 147. ↑

18. Байков В. Д. Интернет. Поиск информации. Продвижение сайтов / В. Д. Байков. — СПб.: БХВ-Петербург, 2000. — С. 189. ↑

19. Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете / Д. Н. Колисниченко. — М.: Диалектика, 2007. — С. 113. ↑

20. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 157. ↑

21. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 222. ↑

22. Ашманов И. С. Продвижение сайта в поисковых системах / И. С. Ашманов, А. А. Иванов. — М.: Вильямс, 2007. — С. 226. ↑

23. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 261. ↑

24. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 260. ↑

25. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 255. ↑

26. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 237. ↑

27. Ашманов И. С. Продвижение сайта в поисковых системах / И. С. Ашманов, А. А. Иванов. — М.: Вильямс, 2007. — С. 221. ↑

28. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 237. ↑

29. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 242. ↑

30. Ашманов И. С. Продвижение сайта в поисковых системах / И. С. Ашманов, А. А. Иванов. — М.: Вильямс, 2007. — С. 261. ↑

31. Байков В. Д. Интернет. Поиск информации. Продвижение сайтов / В. Д. Байков. — СПб.: БХВ-Петербург, 2000. — С. 191. ↑

32. Байков В. Д. Интернет. Поиск информации. Продвижение сайтов / В. Д. Байков. — СПб.: БХВ-Петербург, 2000. — С. 193. ↑

33. Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете / Д. Н. Колисниченко. — М.: Диалектика, 2007. — С. 126. ↑

34. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 169. ↑

35. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 172. ↑

36. Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете / Д. Н. Колисниченко. — М.: Диалектика, 2007. — С. 147. ↑

37. Байков В. Д. Интернет. Поиск информации. Продвижение сайтов / В. Д. Байков. — СПб.: БХВ-Петербург, 2000. — С. 195. ↑

38. Байков В. Д. Интернет. Поиск информации. Продвижение сайтов / В. Д. Байков. — СПб.: БХВ-Петербург, 2000. — С. 197. ↑

39. Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете / Д. Н. Колисниченко. — М.: Диалектика, 2007. — С. 158. ↑

40. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 184. ↑

41. Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете / Д. Н. Колисниченко. — М.: Диалектика, 2007. — С. 169. ↑

42. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 194. ↑

43. Байков В. Д. Интернет. Поиск информации. Продвижение сайтов / В. Д. Байков. — СПб.: БХВ-Петербург, 2000. — С. 199. ↑

44. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 199. ↑

45. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 217. ↑

46. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 227. ↑

47. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 204. ↑

48. Ландэ Д. В. Поиск знаний в Internet / Д. В. Ландэ. — М.: Диалектика, 2005. — С. 216. ↑

49. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 237. ↑

50. Ландэ Д. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д. В. Ландэ, А. А. Снарский, И. В. Безсуднов. — M.: Либроком, 2009. — С. 246. ↑