Файл: Анализ поисковых систем в сети Интернет (ПОНЯТИЕ И СУЩНОСТЬ ПОИСКОВОЙ СИСТЕМЫ).pdf

ВВЕДЕНИЕ

Поисковая система - программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс (фронт-энд) системы. Программной частью поисковой системы является поисковая машина (поисковый движок) — комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы.

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Актуальность темы. Поиск – один из непременных атрибутов нашей жизни. Процесс бесконечного поиска, путешествия по ссылкам с сайта на сайт – занятие весьма и весьма захватывающее. Такое развлечение имеет массу поклонников и даже получило свое собственное название – веб-серфинг.

Целью настоящей работы является знакомство с поисковыми система Интернета.

Задачи работы: рассмотреть понятие и сущность поисковой системы, ознакомиться с первыми поисковыми системами Интернета, дать характеристику основным популярным поисковым системам.

Предмет исследования: поисковая система как программно-аппаратный комплекс.

Объект исследования: современные поисковые системы интернета.

1. ПОНЯТИЕ И СУЩНОСТЬ ПОИСКОВОЙ СИСТЕМЫ

1.1 Общие принципы работы поисковых систем в сети Интернет

Поисковые системы - это сервисы, предназначенные для поиска информации в мировой сети Интернет. В базе данных поисковых систем находится информация, практически, обо всех сайтах сети Интернет и эта база постоянно обновляется автоматизированными системами, следящими за появлением новых сайтов.

Существует четыре типа поисковых систем: с поисковыми роботами, управляемые человеком, гибридные и мета-системы.

- системы, использующие поисковые роботы

Состоят из трёх частей: краулер («бот», «робот» или «паук»), индекс и программное обеспечение поисковой системы. Краулер нужен для обхода сети и создания списков веб-страниц. Индекс - большой архив копий веб-страниц. Цель программного обеспечения - оценивать результаты поиска. Благодаря тому, что поисковый робот в этом механизме постоянно исследует сеть, информация в большей степени актуальна. Большинство современных поисковых систем являются системами данного типа.

- системы, управляемые человеком (каталоги ресурсов)

Эти поисковые системы получают списки веб-страниц. Каталог содержит адрес, заголовок и краткое описание сайта. Каталог ресурсов ищет результаты только из описаний страницы, представленных ему веб-мастерами. Достоинство каталогов в том, что все ресурсы проверяются вручную, следовательно, и качество контента будет лучше по сравнению с результатами, полученными системой первого типа автоматически. Но есть и недостаток — обновление данных каталогов выполняется вручную и может существенно отставать от реального положения дел. Ранжирование страниц не может мгновенно меняться. В качестве примеров таких систем можно привести каталог Yahoo[en], dmoz и Galaxy.

- гибридные системы

Такие поисковые системы, как Yahoo, Google, MSN, сочетают в себе функции систем, использующие поисковых роботов, и систем, управляемых человеком.

- мета-системы

Метапоисковые системы объединяют и ранжируют результаты сразу нескольких поисковиков. Эти поисковые системы были полезны, когда у каждой поисковой системы был уникальный индекс, и поисковые системы были менее «умными». Поскольку сейчас поиск намного улучшился, потребность в них уменьшилась. Примеры: MetaCrawler[en] и MSN Search.

Одним из первых инструментов поиска в интернете (до Всемирной паутины) был Archie.

Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» — бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт».

23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.

Пополнение информационных ресурсов Интернета происходит высокими темпами, и найти необходимую информацию становиться всё труднее. Различные печатные справочники устаревают ещё до выхода в свет. Единственным надёжным способом поиска информации является использование различных поисковых систем, которые постоянно отслеживают изменение информации в сети.

За время существования Интернета предпринимались различные попытки организации поисковых средств. Многие из этих попыток оказались неудачными, другие же привели к созданию удобных средств поиска информации. Наиболее удачные проекты появились в последние пять лет. Мы рассмотрим поиск информации во Всемирной паутине с помощью нескольких наиболее распространённых систем поиска. Всего же в мире существуют сотни различных поисковых систем, и выбор той или иной системы зависит только от ваших личных пристрастий. Отметим, что поисковые системы часто называют поисковыми машинами или машинами поиска.

Многие поисковые системы позволяют искать информацию не только в Web-страницах, но и в группах новостей и хранилищах файлов. Таким образом, в результате поиска вы можете найти сообщение в группе новостей или какой-то файл. Поэтому чаще применяют вместо термина страница более общий термин – документ. Под документом подразумеваются Web-страница, сообщение или файл, содержащие различную информацию.

Поисковые cистемы обычно состоят из трех компонентов:

1. агент (паук или кроулер), который перемещается по Сети и собирает информацию;

2. база данных, которая содержит всю информацию, собираемую пауками;

3. поисковый механизм, который люди используют как интерфейс для взаимодействия с базой данных.

Несмотря на то, что поисковые системы запрограммированы, чтобы оценивать веб-сайты на основе некоторой комбинации их популярности и релевантности, в реальности экспериментальные исследования указывают на то, что различные политические, экономические и социальные факторы оказывают влияние на поисковую выдачу.

Такая предвзятость может быть прямым результатом экономических и коммерческих процессов: компании, которые рекламируются в поисковой системе, могут стать более популярными в результатах обычного поиска в ней. Удаление результатов поиска, не соответствующих местным законам, является примером влияния политических процессов. Например, Google не будет отображать некоторые неонацистские веб-сайты во Франции и Германии, где отрицание Холокоста незаконно.

Предвзятость может также быть следствием социальных процессов, поскольку алгоритмы поисковых систем часто разрабатываются, чтобы исключить неформатные точки зрения в пользу более «популярных» результатов. Алгоритмы индексации главных поисковых систем отдают приоритет американским сайтам.

Поисковая бомба - один из примеров попытки управления результатами поиска по политическим, социальным или коммерческим причинам.

• 1. Популярность поисковых систем у пользователей Рунета

Статистика поисковых систем является важнейшим фактором, определяющим стратегию продвижения сайта. Действительно, важно знать, аудиторию пользователей поисковых систем, тем самым понимая, продвижение в какой поисковой системе (Яндекс, Google, Bing и т.д. ) более «выгодно», принесет больше посетителей, конвертаций, прибыли. Неверно выбранная стратегия продвижения может ощутимо повлиять на финансовые затраты при продвижении проектов.

Сегодня сырые данные берутся из открытого доступа статистики Liveinternet. К сожалению, число сайтов, размещающих счетчик LI постепенно снижается. Так в 2016 году были данные на 200 млн. уникальных пользователей ежедневно, а в текущем, 2019 году уже на 100 млн. уникальных пользователей. Но тем не менее, данные статистики достаточны.

В статье «Статистика поисковых систем в 2019 году^[1]» было проведено исследование долей поисковых систем в генерации трафика на сайты русскоязычного сегмента в нескольких разрезах.

На рисунке 1 приведены данные о количестве среднесуточных переходов за август месяц каждого года всех русскоговорящих пользователей на сайты с установленной статистикой LI из поисковых систем Яндекс и Google. Эти данные не учитывают региональную принадлежность посетителей.

Как видно из рисунка 1, доля русскоязычных пользователей Google ежегодно растет, на август 2019 года составляет 56,4% и значительно превышает долю Яндекса в 41%. Это обусловлено тем, что в русскоговорящих странах ближнего зарубежья, Яндекс не используется как поисковая система.

В целом, в среде русскоговорящих пользователей более популярным является Google, при этом его популярность возрастает.

Давайте посмотрим, какой поисковой системой пользуются чаще в России. Сначала воспользуемся данными LI с ограничением - регион: «Россия» (рисунок 2).

Если еще в 2018 году Яндекс был более популярен среди пользователей России, то уже в текущем, 2019 году 50,7% россиян использовали Google в качестве поисковой системы. Доля Яндекса в этом году составила всего 46,6% процентов.

Благодаря данным LI, можно отследить соотношение пользователей Яндекса и Google в России по регионам (рисунок 3).

Как это не странно, среди пользователей Москвы лидирует Яндекс. Доля использования этой поисковой системы составляет 49,7%, тогда как Google отстает на 2% с долей пользователей в 47,7%.

В Питере, как более прогрессивном городе, уверенно лидирует Google. Их доля составляет 53,2%, в то время как на Яндекс приходится всего 44,6%.

Далее приведем распределение пользователей в субъектах России (первая доля - Google, вторая - Яндекс):

• Казань: 56,1% / 40,6%
• Екатеринбург: 52,9% /44,4%
• Калининград: 62,1% / 32,3%
• Кемерово: 45,6% / 49,8%
• Новосибирск: 57,8% / 40,7%
• Уфа: 50,2% / 46,5%
• Владивосток: 67,5% / 30,3%

Таким образом, чем дальше от первопрестольной, тем выше доля использования Google и ниже - Яндекса. Удивительным образом из этой статистики выбивается Кемерово. Там в единственном из регионов доля пользователей Яндекса превышает пользователей Google.

Такова статистика запросов Яндекс и Гугл в России на август 2019 года.

Интересно так же проследить мировые тенденции использования поисковых систем^[2].

Google является лидером по всем возможным опросам и занимает однозначное первое место во всем мире. Более 70% интернет-пользователей выбирает именно Google. Столь высоких показателей удается достичь и благодаря тому, что во многих мобильных браузерах именно Google установлена как ПС по умолчанию. Выходя из популярности, можно считать, что это лучшая поисковая система Интернета. Кто-то этот факт подтверждает, кто-то опровергает, но цифры говорят сами за себя.