Файл: Анализ поисковых систем в сети Интернет (Методы поискового запроса).pdf

Современный этап развития цивилизации характеризуется переходом наиболее развитой части человечества от индустриального общества к информационному. Одним из наиболее ярких явлений этого процесса является возникновение и развития глобальной информационной компьютерной сети Интернет.

Всемирная сеть очень важна и полезна почти для всех! Любой пользователь Интернета может отыскать в нем много разной и интересной информации, а также использовать все широкие возможности сети. Для меня главными обстоятельствами в выборе темы «Анализ поисковых систем в сети Интернет», для моей курсовой работы, стали актуальность темы на сегодняшний день, а также достаточная открытость и известность мне этой темы, так как я часто пользуюсь всемирными сетями.

Ресурсы Интернета уже давно не просто игрушка, превратившаяся в незаменимый инструмент для каждодневной работы людей различных профессий. Количество данных в сети стремительно растет, и пропорционально им растет и объем. Ученые утверждают, что объем информации, передаваемой по Интернету, увеличивается в два раза каждые шесть месяцев.

В сети каждый день появляются множество новых документов, и что бы быстро и качественно находить нужную информацию появились специальные поисковые средства. Несколько лет назад говорили: в Интернете ничего невозможно найти, но там есть всё. Но когда появились поисковые программы, ситуация в корне поменялась, и сейчас в интернете информацию которая вам нужна, можно найти практически мгновенно.

Наиболее популярным способом поиска в Интернете является использование поисковых систем. Что же такое поисковая система? Поисковая система – портал, осуществляющий поиск, сбор и сортировку информации в сети Интернет. Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.

В данной курсовой работе рассматривается поиск информации во Всемирной паутине с помощью нескольких наиболее распространённых систем поиска (Рамблер, Яндекс и т.д.). Всего же в мире существуют сотни различных поисковых систем, и выбор той или иной системы зависит только от ваших личных пристрастий.

Глава 1. Теоретическая часть

1.1 Особенности поисковых систем

Поисковая система – это сайт, к которому пользователь обращается посредствам ключевого слова и находит интересующую его информацию. Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.

По пространственному масштабу поисковую систему можно разделить на локальные, глобальные, региональные и специализированные. Локальные поисковые системы могут быть разработаны для быстрого поиска страниц в масштабе отдельного сервера. Региональные поисковые системы описывают информационные ресурсы определенного региона, например, русскоязычные страницы в Интернете. Глобальные поисковые системы в отличие от локальных стремятся объять необъятное - по возможности наиболее полно описать ресурсы всего информационного пространства сети Интернет.

Поисковой процесс представляет собой четыре этапа: формулировка (до начала поиска), действие (идет поиск), обзор результатов (выводится на экран), и усовершенствование (возвращаемся к поиску с той же потребностью, но уже иной формулировкой). Более удобная схема поиска состоит из следующих этапов:

Задание информационной потребности на естественном языке;
Выбор поисковых сервисов и точная запись информационной потребности;
Выполнение созданных запросов;
Предварительная обработка полученных ссылок на документы;
Обращение за искомыми документами;
Предварительный просмотр найденных документов;
Сохранение подходящих документов для изучения;
Извлечение из подходящих документов ссылок для расширения запроса;
Изучение всех сохраненных документов;
Если искомая информация не найдена, то возвращаемся к первому пункту.

1.2 Методы поискового запроса

Процесс поиска довольно прост: задавая ключевые слова, характерные для искомой информации, пользователь надеется максимально просто и быстро найти интересующую его информацию. Это значит, что поисковая система должна думать точно также как думает пользователь, когда ищет ту или иную информацию. Разработчики поисковых систем постоянно стараются совершенствовать алгоритмы и принципы поиска, пытаются всячески ускорить работу системы, добавляя новые функции и возможности, чтобы удовлетворить потребности пользователей.

Поисковая система состоит из поисковой машины, базы данных или индекса и точек входа в систему. Поисковая машина – это аппаратно-программный комплекс, который осуществляет быстрый поиск внутри сервера или Интернет-ресурса необходимой информации.

Поисковая машина состоит из:

паук или спайдер (spider) - приложение, которое занимается скачиванием страниц интернет ресурсов.
индексатор (indexer). Индексатор производит первоначальный анализ содержимого скачанной страницы, выделяет основные части (название страницы, описание, ссылки, заголовки и т.д.) и раскладывает все это по разделам поисковой базы данных – помещает в индекс поисковой системы. На основе результатов первоначального анализа индексатор также может принять решение, что страница вообще “недостойна” находиться в индексе. Причины такого решение могут быть разными: страница не имеет названия, является точной копией другой, уже имеющейся в индексе страницы или содержит ссылки на запрещенные законодательством ресурсы.
краулер (crawler) - программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика. Краулер анализирует пути, ведущие с текущей страницы на другие разделы сайта, или на страницы внешних интернет ресурсов и определяет дальнейший порядок обхода пауком нитей всемирной паутины. Именно краулер находит новые для поисковой машины страницы и передает их пауку. Работа краулера построена на базе алгоритмов поиска на графах в ширину и глубину.
подсистема обработки и выдачи результатов (Search Engine and Results Engine ) - самая важная часть любой поисковой машины. Алгоритмы работы этой подсистемы компании разработчики хранят в строгой секретности, поскольку они являют собой коммерческую тайну. Именно эта часть поисковой машины отвечает за адекватность ответа поисковой системы на запрос пользователя.

Вне зависимости от того, какой поисковой системой вы пользуетесь, примерный алгоритм поиска информации следующий:

Вы переходите на начальную страницу поисковой системы или на любую страницу, на которой находятся поля для ввода запроса и кнопка для начала поиска. В последнем случае после нажатия кнопки вы автоматически перейдёте на страницу поисковой системы. Отличий между собственно поисковой системой и страницей с полями для ввода запроса, который передаётся поисковой системе, нет. Главное – перейти на страницу, на которой вы можете ввести ваш запрос;
Если система позволяет последовательные уточнения области поиска, то вы переходите в разделы, определяющие границы поиска информации (например, поиск только в области науки или поиск среди европейских узлов Интернета). В таких системах, запрос в главном разделе, осуществляет поиск среди всех узлов Интернета. Если же вы, например, перейдёте в раздел «Новости», то поиск по запросу будет выполняться только среди узлов, посвящённых новостям. Таким образом, вы сначала определяете границы поиска, после этого отправляется запрос на поиск информации. Если выбранная вами система поиска не позволяет уточнить запрос, то это действие пропускается;
Вводится запрос на поиск в соответствии с правилами, принятыми в выбранной системе поиска. В простейшем случае это одно или несколько слов, например «Анекдоты», но возможны и сложные запросы с логическими операциями «И», «ИЛИ», «НЕТ»;
Если система поиска позволяет, то уточняются некоторые параметры запроса с помощью дополнительных полей, списков, флажков и переключателей, которые могут находиться на странице рядом с полем запроса. В большинстве случаев уточнение параметров не требуется. Составление сложных запросов чем-то похоже на программирование и пользуется популярностью у программистов, людей, не знакомых с программированием;
Нажимается кнопка для начала поиска. После некоторой паузы вы автоматически попадаете на страницу со списком документов, удовлетворяющих вашему запросу. Длительность паузы зависит от сложности запроса, скорости работы поисковой системы и качества вашей связи с данной системой;
Если ссылок много, и они не помещаются на одной странице, то после прочтения первой страницы с результатами поиска вы можете перейти к следующей, и так далее. Таким образом, вы просматриваете все найденные ссылки на документы;
После нахождения нужной ссылки вы щёлкаете на ней мышью и переходите на страницу, которую вы разыскивали. Если вы захотите посмотреть другие найденные страницы, то можно вернуться назад, к странице со ссылками на найденные документы, и перейти по другой ссылке.

Когда говорят о поисковых запросах, то часто упоминают слово «релевантность». Слово релевантность означает степень соответствия документа запросу. Чем больше релевантность, тем лучше результаты поиска. Релевантность определяется по следующим критериям:

Проверяется, сколько раз заданное словосочетание (слово) встречается на отображенных страницах;
Если введена фраза, то проверяется расстояние между словами;
Индекс цитируемости (количество ссылок на данную страницу);
Чем больше на страницу ссылаются, тем больше вероятность, что именно эта страница нужна пользователю;
Каким стилем (шрифтом) написана на странице искомая фраза;
Если фраза выделена жирным или написана крупным шрифтом; (заголовок), то это признак более высокой релевантности страницы;
Возраст сайта (Чем старше сайт, тем лучше это влияет на релевантность).

Таким образом, можно отметить, что уровень релевантности – это целый комплекс параметров.

Итак, для того чтобы найти интересующую вас информацию в кротчайшие время, вам необходимо правильно составлять поисковой запрос.

Наиболее эффективным является следующий метод составления поискового запроса:

Слова поискового запроса нужно писать грамотно. Так, например, запрос «пошив пальтов» нужного результата не даст;
Если поиск нужных результатов не принес, нужно переформулировать запрос с помощью синонимов;
Если результат поиска не удовлетворяет вас, то попробуйте включить в запрос уточняющие слова. Для запроса «стихи Пушкина» слово «стихи» является уточняющим;
В сложных случаях нужно использовать язык запросов. С помощью языка запросов можно задавать комбинации разных критериев поиска.

1.3 Поисковая система Yandex

Подробнее рассмотрим язык запросов поисковой системы Yandex. Предположим, что нам нужно найти адрес проживания Мартиросяна С.Т. Если правильно сформулировать поисковой запрос, то это не составит нам труда. В языке запросов есть такая функция, как включение/ исключение определенных слов – знаки «+» и «-».

Попробуем сформулировать поисковой запрос. Для этого используем фамилию человека и пару уточняющих слов. В качестве уточняющего слова возьмем «адрес» и дату рождения человека. Получим:

Рис.1

Как видно на рисунке 1 нашлось 7 страниц, но с помощью языка запросов можно сократить их число до 1 страницы. Применим специальный символ «+» к уточняющим словам – это означает, что будут найдены те страницы, на которых в обязательном порядке присутствуют уточняющие слова. Получим:

Рис.2

На рисунке 2 видно, что мы нашли 1 страницу, без лишнего мусора. Этот поисковый запрос сформулирован правильно. Еще одним важным символом языка запросов является знак «|». Вертикальная черта позволяет задать альтернативы – система ищет хотя бы одно из перечисленных слов. Например запрос: «Физика лекции | конспекты» будет аналогичен как запросам «Физика лекции» и «Физика конспекты».

Обычно поисковики ищут все формы введенного слова. Например по запросу «Звукоизолирующая» будут выведены страницы со словом «звукоизолирующий» , «Звукоизолирующих» и т.д. Рисунок 3.

Рис. 3

Но чтобы найти именно ту форму слова, которая задана в поисковой строке, в языке запросов предусмотрен символ «!». Применение этого символа видно на рисунке 4.

Рис. 4

Если вам нужно найти точную фразу, то следует её заключать в кавычки: «»

В случае, когда вы хотите найти все варианты фразы: «очень (любое слово) девушка». То нужно поставить запрос так «очень /+2 девушка» , причем 1 – это означает отсутствие слова, а 3 означает, что между «очень» и «девушка» будут два любых слова:

Рис.5

На рисунке 5 видно, как между словами «очень» и «девушка» вставлено «любое слово».

Следует отметить, что при выполнении запроса поисковая система не ищет документ непосредственно в Интернете. Она обращается к своей базе данных, где в компактном виде собраны данные об информации в Интернете. Возможно, что реальное состояние Интернета несколько отличается оттого, что храниться в базе данных.

Поисковые системы постоянно пополняют и обновляют свои базы данных, чтобы минимизировать такое несовпадение. Существует способ пополнения информации в базы данных поисковых машин: Разработчик Web-страницы самостоятельно добавляет ссылку на неё в поисковую систему. Большинство систем позволяют это сделать совершенно бесплатно. Специальная программа, называемая роботом, находит ссылку на новую страницу во Всемирной паутине. Роботы запускаются поисковой системой, чтобы проверить, существуют ли ранее найденные документы и не появились ли новые.