Файл: Анализ поисковых систем в сети Интернет (Понятие и сущность поисковых систем).pdf
Добавлен: 23.05.2023
Просмотров: 350
Скачиваний: 3
СОДЕРЖАНИЕ
Глава 1. Теоретические основы поисковых систем в сети Интернет
1.1. Понятие и сущность поисковых систем
2.1. Характеристики и устройство поисковых систем
Глава 2. Сравнительный анализ поисковых систем в сети Интернет
2.1. Анализ поисковых систем на российском IT-рынке
- Bing
Создана в 2009 году компаний Microsoft, является обязательным атрибутом смартфонов на операционной системе Windows. Придерживается концепции минимализма в архитектуре сайта, на котором отражены перечень продуктов Microsoft, поисковая строка и название системы. Пользовательская аудитория охватывает 31% населения США, 18% - Китая, 6% - Германия[29].
- Yahoo!
Одна из старейших мировых поисковых систем, основные пользователи которой представлены жителями США (24%), а также населением Индии, Индонезии, Тайваня, Великобритании. Архитектура сайта, кроме строки поиска, предлагает региональный прогноз погоды, ленту новостей мировых событий[30].
- Baidu
Поисковая система, разработанная в Китае, занимающая четвертое место по посещаемости. Основные пользователи (92%) – жители Китая. Имеет ограничения в использовании населением других стран из-за того, что информация размещена в поисковой системе только на китайском языке, без перевода на языки межнационального общения. «Национальная» политика размещения информации в поисковой системе приводит к тому, что попытки расширения аудитории ее пользователей воспринимаются как вирусы, а, следовательно, блокируются[31].
- AOL
Американская поисковая система (America Online). Максимальной популярностью пользовалась в 1990 – 2000 – х гг. В настоящее время постепенно превращается в поисковик «национального» значения: пользовательская аудитория на 70% состоит из населения США[32].
- ASK
Существует с 1995 года, имеет оригинальный интерфейс: поисковые запросы пользователей воспринимает в качестве вопросов, предлагая варианты ответов на поиск в виде полноценных статей. Поэтому быстро теряет рыночные позиции, за последнее время в мировом рейтинге самых популярных Интернет-ресурсов снизилась на 50 позиций и занимает лишь 104 место[33].
- Excite
Характеристика отсутствием принципиальных отличий от других поисковых систем. Предлагает пользователям традиционный набор сервисов: новости, почта, погода, путешествия и т.д. С 1990-х гг. интерфейс сайта поисковой системы не изменился, что существенно препятствует расширению пользовательской аудитории[34].
- DuckDuckGo
Отличием поисковой системы является отсутствие «слежения» за пользователями и их действиями в сети. Имеет современный дизайн сайта, выполненный в ярких красках и дополненный иллюстрациями. Информация, размещенная в поисковой системе, дублируется на русском языке. Находится на 504 позиции в рейтинге популярности, но быстро набирает конкурентные позиции: за последнее время поисковая система поднялась в рейтинге на 400 позиций[35].
- Wolfram Alpha
Конкурентным преимуществом поисковой системы является широкое разнообразие вспомогательных сервисом, рассчитанных на запросы пользователей в получении новых знаний. Не дает ссылок на посты в социальных сетях или непроверенные информационные источники, предлагает только конкурентную, проверенную информацию, а поэтому максимально популярна у школьников и студентов[36].
- Yandex
Поисковая система российской разработки, получившая максимальное распространение не только в России, но и в Турции, Беларуси, Казахстане и других странах. Отличается мультифункциональным сервисным портфелем: кроме непосредственного поиска информации предлагает пользователям интернет-порталы, специализированные (включая профессиональные) службы (более 50 разновидностей). По количеству обработанных запросов занимает четвертое место среди всех мировых поисковых систем, а в рейтинге популярности – 27 место в мире и первое в России. На конец 2016 года пользовательская аудитория поисковой системы превысила 16 млн человек[37].
Поисковая система Яндекс индексирует и осуществляет поиск последующим форматам документов: HTML, PDF, RTF, DOC, XLS. Стоит также отметить параллельный поиск Яндекс, который заключается в одновременном поиске по основной базе и по другим сервисам [2]. В них входят новости, картинки, видео, блоги, карты и маркет (платные рекламные объявления). Результаты параллельного поиска могут располагаться над результатами основного поиска, справа от них и даже внутри. Поисковая система Яндекс имеет не один, а целую группу индексирующих роботов. Распознать их молено через лог-файлы веб-сервера по полю Useragent, IP-адреса роботов постоянно меняются, и осуществлять идентификацию по ним нецелесообразно[38].
Основной индексирующий робот - индексирует основной объем текстовой информации, размещенной в сети. Индексирует HTML, а также другие типы документов, содержащих текстовые данные. Робот, определяющий зеркала сайтов, - т.н. «зеркальщик», определяет зеркала вебсайтов, в том числе и как отображать веб-сайт, с «www» или без (к примеру, http://www.edu.ru или http://edu.ru). Апдейт зеркальщика – учет изменений, найденных роботом, происходит довольно редко, 1 раз в 1-2 месяца. Индексатор Яндекс.Картинок - отвечает за индексацию картинок в Интернет. Индексирует все популярные форматы картинок. Апдейт происходит в среднем раз в неделю, иногда чаще. Индексатор Яндекс.Видео - отвечает за поиск видео. Ранжирование осуществляет за счет анализа текста, окружающего файл с видео на странице, а также популярности ролика в блогах и т.д. Робот, индексирующий мультимедийные данные - индексирует документы в формате Adobe Flash (flv-файлы). Робот поиска по блогам, индексирующий комментарии постов специальный робот, индексирующий посты в блогах. Как правило, сами записи в блогах после опубликования практически никогда не изменяются, в отличие от списка комментариев, который постоянно растет[39].
Робот, обращающийся к странице при добавлении ее через форму «Добавить URL» (http://webmaster.yandex.ru/addurl.xmD - при добавлении нового веб-сайта или документа через форму на странице Яндекс, происходит обращение данного робота. Посещение основного индексирующего робота может занять от нескольких дней до нескольких месяцев. Робот, индексирующий пиктограммы сайтов (favicons) - робот, индексирующий пиктограммы веб-сайтов, которые затем отображаются рядом со ссылкой в результатах поиска. Робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса - робот, индексирующий веб-сайты на которых показываются рекламные объявления Яндекс (Яндекс. Директ). «Простутвалка» Яндекс.Директа - робот, проверяющий работоспособность веб-сайтов, размещающих на своих страницах рекламные объявления Яндекс. Директ, а также веб-сайты, рекламирующиеся в нем. Робот Яндекс.Метрики — робот, проверяющий работоспособность страниц, на которых установлен код Яндекс.Метрики (позволяет анализировать поведение посетителя на веб-сайте). «Простукивалка» Яндекс.Каталога - робот, проверяющий на работоспособность вебсайты, размещенные в Яндекс.Каталоге. Индексатор Яндекс.Новостей - специальный робот, индексирующий часто обновляемые новостные ресурсы, которые участвуют в проекте Яндекс.Новости (http://news.yandex.ru/). Робот мобильных сервисов - информации об этом роботе на официальном блоге Яндекс нет, но, судя по названию, этот робот индексирует wap-сайты. Помимо перечисленных, в 2005 году Яндекс запустил «быстрый робот» (далее - быстроробот), который работает одновременно с основным индексирующим и предназначен для оперативного обнаружения и индексации актуальных страниц[40].
Для нашего исследования наиболее интересен российский сегмент этого рынка. По данным информационного источника Live Internet, в «топ-5» лучших поисковых систем Рунета в 2017 году входили: Яндекс – 48,3%; Google – 45,1%; Mail – 5,7%, Rambler – 0,4%, Bing – 0,3%[41]. В статистике портала суммируются поисковые запросы пользователей, выходящих в сеть как со стационарных персональных компьютеров, так и с мобильных устройств. Для наглядности рейтинг представлен на Рисунке 1.
Рисунок 1. Рейтинг поисковых систем Рунета в 2017 году
Третье и четвертые места занимают поисковые системы Mail и Rambler, набирающие популярность у населения стран Содружества Независимых Государств и, кроме того, у населения Германии (3%).
2.2. Анализ характеристик современных поисковых систем
Рассмотрим пятерку поисковых систем по двум главным характеристикам: по полноте и точности поиска. Качество поиска в информационно-поисковых системах можно определить двумя критериями –точностью и полнотой. Точность определяется соотношением между найденными релевантными и нерелевантными документами, а полнота поиска - общим количеством найденных документов. Релевантным будем считать документ, который удовлетворяет запросу пользователя. Нерелевантные документы, сравниваемые с релевантными, иногда могут называться шумом, по аналогии с теорией передачи информации. Релевантные документы в таком случае называют сигналом, а эффективность поиска оценивают по соотношению "сигнал - шум"[42].
Назначим весовые коэффициент - параметры, которые отражают в сравнении с другими критериями относительную важность, значимость, «вес» данных критериев. Сумма всех весов должна быть равной 1, поэтому для точности поиска весовому коэффициенту даем значение, равное 0.8, для полноты поиска – 0.2. Оформим результаты, они представлены в таблице 1.
Таблица 1. Весовые коэффициенты
|
Критерий |
Весовой коэффициент |
|
Точность поиска |
0,8 |
|
Полнота поиска |
0,2 |
Сформулируем тринадцать запросов на разные темы и выполним каждый запрос в каждой из пяти исследуемых поисковых системах. Из полученных списков результатов выберем следующую информацию:
1. Общее количество найденных документов (Д).
2. Количество релевантных документов различной ценности (РД).
Количество релевантных документов оценивается при просмотре текста первых 10 найденных документов. Также определяется ценность найденной информации (степень удовлетворения найденном документом информационных потребностей). Ценность информации оценивается по 3-х бальной шкале: 2 балла - информация имеет ценность, 1 балл – информация имеет частичную ценность, 0 баллов – информация не имеет ценности. Результаты выполнения запросов сведем в таблицу 2.
Таблица 2. Результаты выполнения запросов
|
№ т е м ы |
Bing |
|
Mail.ru |
Rambler |
Yandex |
|||||||||||||||
|
Д |
РД |
Д |
РД |
Д |
РД |
Д |
РД |
Д |
РД |
|||||||||||
|
2 |
1 |
0 |
2 |
1 |
0 |
2 |
1 |
0 |
2 |
1 |
0 |
2 |
1 |
0 |
||||||
|
1 |
1 810 000 |
9 |
1 |
0 |
3 180 000 |
10 |
0 |
0 |
7 000 000 |
5 |
2 |
3 |
41 000 000 |
9 |
1 |
0 |
40 000 000 |
9 |
1 |
0 |
|
2 |
116 000 |
8 |
2 |
0 |
711 000 |
10 |
0 |
0 |
2 000 000 |
8 |
1 |
1 |
943 000 |
10 |
0 |
0 |
942 000 |
9 |
1 |
0 |
|
3 |
420 000 |
7 |
2 |
1 |
2 330 000 |
8 |
2 |
0 |
1 000 000 |
9 |
1 |
0 |
3 000 000 |
8 |
0 |
2 |
2 000 000 |
9 |
0 |
1 |
|
4 |
62 000 |
8 |
2 |
0 |
964 000 |
10 |
0 |
0 |
1 000 000 |
8 |
1 |
1 |
3 000 000 |
9 |
1 |
0 |
2 000 000 |
9 |
0 |
1 |
|
5 |
2 340 000 |
8 |
1 |
1 |
2 380 000 |
8 |
0 |
2 |
7 000 000 |
7 |
1 |
2 |
20 000 000 |
9 |
0 |
1 |
17 000 000 |
9 |
0 |
1 |
|
6 |
103 000 |
7 |
0 |
3 |
1 020 000 |
10 |
0 |
0 |
1 000 000 |
9 |
0 |
1 |
3 000 000 |
10 |
0 |
0 |
2 000 000 |
10 |
0 |
0 |
|
7 |
746 000 |
9 |
0 |
1 |
5 430 000 |
9 |
0 |
1 |
13 000 000 |
10 |
0 |
0 |
3 000 000 |
9 |
0 |
1 |
1 000 000 |
9 |
0 |
1 |
|
8 |
19 900 |
7 |
2 |
1 |
214 000 |
10 |
0 |
0 |
18 000 |
9 |
1 |
0 |
9 000 |
8 |
0 |
2 |
9 000 |
10 |
0 |
0 |
|
9 |
42 400 |
9 |
1 |
0 |
140 000 |
9 |
0 |
1 |
766 000 |
7 |
1 |
2 |
431 000 |
9 |
0 |
1 |
430 000 |
10 |
0 |
0 |
|
1 0 |
999 000 |
10 |
0 |
0 |
4 190 000 |
9 |
0 |
1 |
9 000 000 |
9 |
1 |
0 |
6 000 000 |
10 |
0 |
0 |
4 000 000 |
10 |
0 |
0 |
|
1 1 |
1 940 000 |
10 |
0 |
0 |
683 000 000 |
9 |
1 |
0 |
9 000 000 |
10 |
0 |
0 |
7 000 000 |
10 |
0 |
0 |
6 000 000 |
9 |
0 |
1 |
|
1 2 |
73 700 |
9 |
1 |
0 |
812 000 |
8 |
1 |
1 |
863 000 |
9 |
0 |
1 |
834 000 |
9 |
1 |
0 |
869 000 |
10 |
0 |
0 |
|
1 3 |
115 000 |
10 |
0 |
0 |
301 000 |
10 |
0 |
0 |
3 000 000 |
9 |
0 |
1 |
2 000 000 |
10 |
0 |
0 |
2 00 0 000 |
10 |
0 |
0 |
Выполним первичную обработку результатов, они представлены в Таблице 3.
Таблица 3. Результаты сравнительного анализа поисковых систем
|
Критерий |
Bing |
|
Mail.ru |
Rambler |
Yandex |
|
Полнота поиска (Д) |
675923,1 |
1719615,385 |
4203615,4 |
6939769,2 |
6019230,8 |
|
Место(полнота поиска) |
6 |
5 |
4 |
1 |
3 |
|
Среднее количество пертинентных документов (РД2) |
8,5 |
9,23 |
8,38 |
9,23 |
9,46 |
|
Среднее количество частично пертинентных документов (РД1) |
0,92 |
0,31 |
0,69 |
0,23 |
0,15 |
|
Среднее количество непертинентных документов (РД0) |
0,53 |
0,46 |
0,92 |
0,53 |
0,38 |
|
Коэффициент точности поиска (Р) |
0,94 |
0,953 |
0,904 |
0,945 |
0,961 |
|
Место (точность поиска) |
5 |
3 |
6 |
4 |
1 |
|
Коэффициент поискового шума (S) |
0,056 |
0,046 |
0,095 |
0,054 |
0,038 |
|
Рейтинг (R) |
2,8 |
4,6 |
2,4 |
4,4 |
5,8 |
Для нахождения лучшей поисковой системы для начала вычислим средние арифметические значения показателей для каждой поисковой системы Д, РД(0), РД(1) и РД(2).
Далее необходимо определить место каждой поисковой системы по критерию "Полнота поиска". Для его определения места будем использовать среднее количество найденных документов Д. Наилучшей считается та система, которая нашла больше документов. Ей присваивается первое место, самой худшей – место N (где N – это количество всех исследуемых систем). Коэффициент точности поиска P для каждой поисковой системы определим по формуле: