Добавлен: 01.04.2023
Просмотров: 187
Скачиваний: 1
Введение
В век информационных технологий огромную роль играет интернет. Объём доступной информации увеличивается с каждым днём и любое путешествие по просторам интернета невозможно без специальных поисковых систем, позволяющих комфортно просматривать веб-страницы.
Первоочередной задачей любой поисковой системы является доставление людям именно той информации, которую они ищут. А научить пользователей делать «правильные» запросы к системе, то есть запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики должны создавать такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.
Цель работы – выбрать лучшие поисковые системы.
Для достижения поставленной цели необходимо решить следующие задачи:
- выбрать поисковые системы для анализа;
- произвести анализ и сравнение поисковых систем;
- в результате сравнения, выбрать наиболее подходящие поисковые системы.
Глава 1. Поисковые системы
Поисковая система - это сервис, который позволяет пользователям Интернета искать контент через WorldWideWeb (WWW). Пользователь вводит ключевые слова или ключевые фразы в поисковую систему и получает список результатов веб-контента в виде веб-сайтов, изображений, видео или других онлайн-данных. Список контента, возвращаемого через поисковую систему пользователю, называется страницей результатов поисковой системы (SERP).
1.1 Задача поисковых систем
Интернет непрерывно растет и развивается, вместе с ним эволюционируют и поисковики интернета, но их главная задача остается неизменной – они должны помочь пользователю найти самый лучший ответ на запрос, который он ввел в поле для поиска. Чем более качественные результаты в выдаче показывает поисковик, тем больше ему доверяют люди.
Поисковые системы постоянно анализируют терабайты информации, размещенной на миллионах web страниц, стараясь при этом определить какие сайты заслуживают попадания в ТОП выдачи, а какие являются лучшими кандидатами для попадания в бан.
1.2 Как работает поисковая система
Поисковик – это набор сложных программ и баз данных, которые действуют по определенному алгоритму. Упрощенно, этот алгоритм можно разбить на 3 этапа.
1.2.1 Поиск новых страниц
Поисковые системы выдают информацию не о страницах, находящихся в интернете, а о страницах, находящихся в базе данных поисковой машины. То есть, если сайт неизвестен Яндексу или Goоgle, то и в выдаче он не появится.
Задача поисковика на этом этапе заключается в поиске всех возможных адресов страниц в интернете. Выполняет эту работу так называемый робот «паук». Интернет - это ссылки и этот «паук» просто переходит по всевозможным ссылкам, записывая в свою базу адреса всех найденных страниц.
Попал на главную страницу сайта, на ней нашел ссылки на страницы рубрик, на страницах рубрик нашел ссылки на страницы со статьями, карточками товаров, ссылки на файлы или другую информацию. На каких-то из посещенных страниц одного сайта, он нашел ссылки на другие сайты – поисковая система переходит по ним и сканирует все, что нашла там.
1.2.2 Индексация
Как я уже писала выше – в поисковую выдачу попадает информация не с сайтов, находящихся в интернете, а информация из базы данных поисковой системы.
И следующая программка поисковика как раз занимается добавлением информации в базу. Она путешествует по всем известным адресам сайтов и страниц, копируя их содержимое на склады поисковой системы.
Называется этот процесс индексация – попадание информации в индекс поисковой системы.
Первый и второй процессы протекают непрерывно и, зачастую, одновременно. Постоянно пополняется база адресов страниц и база информации с этих страниц.
Кстати, в процессе индексации поисковые системы оценивают качество страниц, и информация некоторых из них не попадает в индекс. Как бы поисковик знает об их существовании, но по каким-то причинам считает их бесполезными для пользователя, поэтому не добавляет в выдачу – зачастую это не уникальный контент или служебные страницы.
1.2.3 Определение релевантности и ранжирование
Если то, что мы обсудили в предыдущих пунктах, работает непрерывно и независимо от внешних факторов (действий человека), то третий этап в алгоритме работы поисковых систем начинает действовать только под воздействием человека.
Когда в поисковике задается запрос, система начинает искать на него ответ в наполненной базе знаний по критериям, заданным человеком в этом запросе.
Сначала, система делает выборку, определяя все релевантные запросу страницы из известных (Релевантные – значит соответствующие, подходящие). Например, для запроса «купить холодильник Норд» релевантными будут страницы содержащие слова «купить», «холодильник», «Норд». Все страницы, содержащие одно или несколько из этих слов, попадут в выдачу поисковой системы.
Следующая задача поисковика, определить в какой последовательности пользователь увидит все эти страницы – их необходимо ранжировать. Факторов, которые будут влиять на порядок выдачи много, но если по-простому, то сначала пользователь увидит страницы, содержащие «купить холодильник Норд». Если таких нет, то ему будет предложено «купить холодильник» или «холодильник Норд» и в самом конце будут страницы со словами «купить», «холодильник», «Норд».
Глава 2. Метапоисковые системы
Метапоисковая система — это поисковая система, которая в отличие от классических поисковых машин не имеет собственной базы данных и собственного поискового индекса, а формирует поисковую выдачу за счёт смешивания и переранжирования результатов поиска других поисковых систем.
2.1 Задачи метапоисковой системы
Объем информации в Сети постоянно увеличивается, а часть данных динамически изменяется. По этой причине ни одна существующая поисковая система не может охватить все ресурсы Интернета. Таким образом, может возникнуть ситуация, когда ваша любимая поисковая машина не сможет найти нужный вам документ, хотя в Сети он присутствует. Тогда придется использовать другие поисковые системы в надежде найти то, что вам нужно.
Но есть и альтернативный способ решения этой проблемы – использование метапоисковой системы, которая представляет собой поисковый инструмент, посылающий ваш запрос одновременно нескольким поисковым системам.
Метапоисковая система не имеет собственной базы данных, а пользуется исключительно ресурсами других систем. Полученные результаты метапоисковая система обрабатывает и в соответствии со своим алгоритмом ранжирует в общий список.
2.2 Как работает метапоисковая система
Принцип работы метапоисковика заключается в следующем: запрос пользователя преобразуется в запросы, отформатированные синтаксически и логически в конструкции, оптимальные для каждого отдельного, "традиционного" поисковика, т. е. из одного запроса метапоисковый механизм делает ряд запросов, которые адресуются нескольким "обычным" поискам.
Таким образом, метапоисковые системы объединяют для достижения результатов индексы поисковых серверов различных специализаций. В рамках одной метапоисковой системы можно осуществлять поиск информации различного типа. Метапоисковые системы не предназначены для индексирования и накопления данных, их назначение – чистый поиск и обработка результатов поиска. Все метапоисковые системы сортируют результаты поиска таким образом, чтобы избежать дублей и одинаковых страниц в выдаче, найденных различными поисковыми системами.
Преимущество метапоисковых систем очевидно – они экономят значительное количество времени, избавляя вас от необходимости вводить запрос в каждой поисковой машине. С другой стороны, эти системы не позволяют вам воспользоваться уникальными возможностями отдельно взятых поисковых машин. Таким образом, поиски в Интернете удобно начинать с метапоисковых систем, а если это не помогло, то стоит попробовать детальный поиск на различных сайтах.
Также метапоисковые интернет-системы используют самые современные технологии обработки информации, например, кластеризацию. Суть такого подхода заключается в том, что полученное в ходе поиска по определенному ключевому слову подмножество страниц дополнительно анализируется, в результате чего выявляются новые ключевые слова, встречающиеся на веб-страницах вместе с терминами запроса. С большой вероятностью они относятся к отдельным аспектам интересующей пользователя темы. Далее найденные веб-страницы разделяются на отдельные кластеры в соответствии с наличием этих дополнительных ключевых терминов. Такая технология имеет ряд преимуществ. Пользователь получает подсказки, позволяющие уточнить запрос, что особенно важно при поиске по незнакомой предметной области. Применение кластеров также помогает поднять в результатах поиска узкотематические сайты, которые при обычном поиске могли оказаться далеко за пределами первой десятки результатов и, следовательно, вне поля зрения подавляющего большинства пользователей.
Глава 3. Сравнительный анализ поисковых систем
3.1 Описание популярных поисковых систем
Наиболее известные международные поисковые системы: Google, Yahoo, Baidu (лидер среди китайских поисковых систем), Bing, AOL, Lycos, Ask.
Русскоязычные — большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках — украинском, белорусском, английском, татарском и др.
Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами.
В России основной поисковой системой является «Яндекс», далее - Rambler, Aport, Mail.ru, Нигма.
А теперь более подробно об этих поисковых системах.
Google — поисковая система, принадлежащая корпорации Google Inc.
Первая по популярности (84,65 %), обрабатывает 41 млрд 345 млн запросов в месяц (доля рынка 62,4 %), индексирует более 8 миллиардов веб-страниц, может находить информацию на 191 языке (c 15 октября 2009).
Поддерживает поиск в документах форматов PDF, RTF, PostScript, Microsoft Word, Microsoft Excel, Microsoft PowerPoint и других.
В качестве учебного проекта двое студентов Стендфорского университета, Лари Пейдж и Сергей Брин, предложили новую поисковую систему, которая на сегодняшний день стала одной из самых влиятельных компания во всемирной сети Интернет – Google.
Своё название система и соответствующая компания получили от математической величины "гугол" (googol), которая равна 10100. Создатели посчитали, что такое название лучше всего передаст основную идею их системы – организовать миллиарды байтов информации, содержащейся в Интернете.
Поисковая система Google представляет собой мощный механизм. Без таких поисковых систем найти информацию в глобальной сети Интернет было бы практически невозможно. Подобно всем поисковым серверам Google использует специальный поисковый алгоритм для получения результатов поиска. Некоторые основные характеристики алгоритма компания не скрывает, особенность же алгоритма является строгой тайной компании. Именно благодаря этому Google сохраняет свое лидерство в сети Интернет и не позволяет никому взломать ее систему.
Как и большинство поисковых серверов, Google использует программный поисковый механизм, называемый «паук» или «ползунок», для автоматического выбора всех документов, на которые есть ссылки в первом выбранном документе. Ключевые слова вписываются в специальную строку ввода, после чего начинается поиск.
Особенность Google заключается в том, как и по какому критерию эта поисковая система классифицирует результаты поиска на своей странице. Используемый алгоритм PageRank сортирует все веб-страницы по критерию смыслового соответствия.