Файл: поисковые системы в сети интернет..pdf

2.2. Примеры конкретных поисковых систем

В качестве основных поисковых систем в России используются Яндекс и Google.

Яндекс является европейской информационной компанией, которая владеет одноименной системой поиска в Сети и интернет-порталом. Поисковая система Яндекс является четвертой среди поисковых систем мира по количеству обработанных поисковых запросов. На начало 2014 года их было насчитано свыше 6,3 млрд в месяц. По состоянию на 19 июля 2014 года, согласно рейтингу Alexa.com, сайт yandex.ru по популярности занимает первое место в России и 22-е место в мире^[21].

Поисковая система Yandex.ru была официально анонсирована 23 сентября 1997 года, и первое время развивалась в рамках компании CompTek International. В качестве отдельной компании Яндекс образовался в 2000 году. В мае 2011 года Яндекс провел первичное размещение акций, заработав на этом больше, чем какая-либо из Интернет-компаний со времен IPO поисковика Google в 2004 году^[22].

Приоритетным и основным направлением компании является разработка поискового механизма, но за годы работы «Яндекс» стал мультипорталом. В 2013 году «Яндекс» предоставлял более 50 сервисов. Некоторые из них доминируют на рынке. В качестве таких примеров можно привести Яндекс.Карты, Яндекс.Поиск, Яндекс.Пробки, Поиск по блогам, Яндекс.Маркет.

Головной компанией холдинга является зарегистрированное в Нидерландах акционерное общество Yandex N.V., акции которого обращаются в основном на NASDAQ с более 50 % free float на 2014 год^[23].

Наиболее заметное положение занимает на рынках России, Украины, Турции, Казахстана и Белоруссии.

В России представлена 100 % дочкой ООО «Яндекс», главный офис которой находится в Москве.

У компании также есть офисы в Екатеринбурге, Санкт-Петербурге, Нижнем Новгороде, Новосибирске, Симферополе, Одессе, Казани, Киеве, Минске, Ростове-на-Дону, Берлине, Стамбуле, Люцерне и Цюрихе. В середине июня 2008 года компания объявила об открытии Yandex Labs — офиса в США, штат Калифорния^[24].

Пример запроса в поисковой системе Яндекс представлен на рисунке 1.

Рис. 1. Результаты по запросу «радители» в поисковой системе Яндекс.

Google является крупнейшей поисковой системой интернета, принадлежащей корпорации Google Inc.

Google является первой по популярности системой (77,05 %), обрабатывая 41 миллиарда 345 миллионов запросов в месяц, занимая долю рынка 62,4 %, индексируя более 25 миллиардов веб-страниц. На закрытой конференции в начале мая 2014 года представитель Google упомянул, что на данный момент проиндексировано 60 триллионов документов, и как можно заметить, в результате тестов, счетчик в поиске Google ограничен числом 25 270 000 000, также на это число при выдаче влияют встроенные в алгоритм ранжирования выдачи фильтры^[25].

Поисковая система Google поддерживает поиск в документах форматов RTF, PDF, Microsoft Word, PostScript, Microsoft PowerPoint, Microsoft Excel и других подобных.

Поисковая система Google была создана в качестве учебного проекта студентов Стэнфордского университета Сергея Брина и Ларри Пейджа. Они в 1996 году работали над поисковой системой BackRub, а в 1998 году на ее основе создали новую поисковую систему Google. С первого же года существования в Google стали применять метод прозрачного управления OKR, определивший способ корпоративного управления и подход к планированию развития компании^[26].

Хотя корпорация была основана 2 сентября 1998 года, а домен Google.com зарегистрирован 15 сентября 1997 года, поисковик с 2000 года отмечает свой день рождения и в другой день: как 7, так и 27 сентября.

Слово Google произошло от искаженного названия числа десять в сотой степени (10¹⁰⁰) googol^[27].

Пример запроса в поисковой системе Google представлен на рисунке 2.

Рис. 2. Результаты по запросу «кремль» в поисковой системе Google.

Поиск@Mail.Ru является поисковой системой от компании Mail.Ru. По данным на декабрь 2013 года, на рынке Рунета он занимает долю около 10 %. Таким образом, он занимает третью строчку в рейтинге поисковых систем на российском рынке. В течение многих лет в поисковой строке на главной странице поиска Mail.Ru использовался сторонний движок: в 2004—2006 и 2010—2013 годы использовался поиск Google, 2007—2009 годах — решение от Яндекса. С 1 июля 2013 года сервис использует собственные поисковые технологии, которые разрабатывались командой инженеров Mail.Ru. В Казахстане Поиск@Mail.Ru обходит по популярности Яндекс, охватывая 25,3 % рынка^[28].

Bing является поисковой системой, разработанной международной корпорацией Microsoft. Ранее система имела названия MSN Search.Windows Live Search и Live Search. В настоящее время сайт Bing занимает 2-е место в списке самых популярных поисковых сайтов по объёму трафика, в отличие от которых обладает рядом возможностей, таких как просмотр результатов поиска на одной странице вместо пролистывания многочисленных страниц результатов поиска, а также динамическое корректирование объема информации, отображаемой для каждого результата поиска, встроенный поиск значения слов в Microsoft Word^[29].

Американская компания Yahoo! владеет второй по популярности в мире поисковой системой. Согласно статистике Alexa Internet, в июне-июле 2016 г. Yahoo! — пятый по посещаемости веб-сайт в сети Интернет, и примерно 32% посещений состоят из просмотра только одной страницы^[30] [1, 4, 5].

2.3. История поисковых систем

На ранних этапах развития сети Интернет Тимом Бернерс-Ли поддерживался размещенный на сайте ЦЕРН список веб-серверов. Данный список становилось все сложнее поддерживать вручную, так как количество сайтов неуклонно росло. На сайте NCSA был создан специальный раздел, названный «Что нового!», в котором публиковались ссылки на новые сайты^[31].

Программа Арчи являлась первой компьютерной программой, предназначенной для поиска в Интернете. Ее название произошло от английского archive без буквы «в», что значит архив. Данная программа была создана в 1990 году Дж. Питером Дойчем, Биллом Хиланом и Аланом Эмтэджем, изучающими информатику студентами из университета Макгилла в Монреале. Программой скачивались списки всех файлов со всех доступных анонимных FTP-серверов и строилась база данных, в которой можно было осуществлять поиск файлов по именам. Тем не менее, программой Арчи не индексировалось содержание этих файлов, по причине малого объема данных, так как все данные можно было без проблем найти вручную^[32].

Распространение и развитие в 1991 году придуманного Марком Маккэхилом в университете Миннесоты сетевого протокола Gopher привело к созданию двух новых поисковых программ, Jughead и Veronica. Как и Арчи, они искали имена заголовки и файлов, которые были сохраненны в индексных системах Gopher. Программа Jughead (расшифровывается как. Jonzy's Universal Gopher Hierarchy Excavation And Display) предназначена для извлечения информации о меню от определенных Gopher-серверов. Veronica (расшифровывается как. Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) предназначалась для выполнения поиска по ключевым словам большинства заголовков меню Gopher во всех списках Gopher. Несмотря на то, что название поисковика Арчи не имело отношения к циклу комиксов «Арчи», все равно, Jughead и Veronica — персонажи этих комиксов^[33].

На момент лета 1993 года еще не существовало ни одной системы, предназначенной для поиска в вебе, но поддерживались вручную многочисленные специализированные каталоги. В Женевском университете Оскаром Нирштрассом был написан ряд сценариев на Perl, периодически копирующих эти страницы и переписывающих их в стандартный формат. Это стало основой для первой примитивной поисковой системы сети W3Catalog, которая была запущена 2 сентября 1993 года^[34].

Вероятно, первым поисковым роботом, написанным на языке Perl, был бот Мэтью Грэя из Массачусетского технологического института «World Wide Web Wanderer», созданный в июне 1993 года. Данный робот создавал «Wandex», поисковый индекс. Целью робота было измерение размера всемирной паутины и поиск всех веб-страниц, содержащих слова из запроса. В 1993 году также появилась «Aliweb», вторая поисковая система. Системой Aliweb не использовался поисковой робот, а вместо этого ожидались уведомления от администраторов веб-сайтов о наличии индексного файла в определенном формате на их сайтах^[35].

Созданный Джонатаном Флетчером в декабре 1993 года JumpStation с помощью поискового робота искал веб-страницы и строил их индексы, используя веб-форму в качестве интерфейса для формулирования поисковых запросов. Данный инструмент был первым инструментом поиска в Интернете, сочетающим три важнейших функции поисковой системы: собственно поиск, индексация и проверка. В следствии ограниченности ресурсов компьютеров того времени, поиск и индексация были ограничены только заголовками и названиями веб-страниц, которые были найдены поисковым роботом^[36].

Первой поисковой системой, полнотекстовой индексирующей ресурсы при помощи робота, стала запущенная в 1994 году система «WebCrawler». Она позволяла пользователям, в отличие от своих предшественниц, осуществлять поиск по любым словам, которые расположены на любой веб-странице. Именно с того момента данный метод стал стандартом для большинства поисковых систем. Также это был первый поисковик, который получил широкое распространение. В 1994 году была запущена разработанная в Университете Карнеги-Меллон система «Lycos», которая стала серьезным коммерческим предприятием^[37].

После этого появилось множество других конкурирующих поисковых машин, таких как «Magellan», «Inktomi», «Infoseek», «Excite», «AltaVista» и «Northern Light». В определенном смысле данные поисковики конкурировали с популярными интернет-каталогами, как, например, «Yahoo!». Тем не менее, поисковые возможности каталогов были ограничены поиском по не по текстам веб-страниц, а самим каталогам. Позже, с целью улучшения поиска, каталоги снабжались поисковыми роботами или объединялись^[38].

В 1996 году компания Netscape была выдвинута возможность эксклюзивной сделки с какой-либо поисковой системой, делая ее на веб-браузере Netscape поисковой системой по умолчанию. Это вызвало настолько большой интерес, что Netscape заключила контракт сразу с пятью крупнейшими поисковыми системами: Magellan, Yahoo!, Excite, Infoseek и Lycos. За 5 миллионов американских долларов в год они по очереди предлагались на поисковой странице Netscape^[39].

Поисковые системы в конце 90-х годов 20 века участвовали в «Пузыре доткомов». Определенные компании при получении рекордной прибыли во время их первичного публичного предложения осуществили эффектный выход на рынок. Другие отказались от рынка общедоступных поисковых движков и стали работать только с корпоративным сектором, Northern Light была в их числе^[40].

Поисковая система Google в 1998 году взяла на вооружение идею продажи ключевых слов. На тот момент Google был маленькой компанией, которая обеспечивала работу поисковой системы по адресу goto.com. Данный шаг для поисковых систем ознаменовал переход от соревнований друг с другом к одному из самых выгодных коммерческих предприятий в Интернете. Первые места в результатах поиска стали продаваться поисковыми системами отдельным компаниям.

Поисковая система Google занимает видное положение с начала 00-х годов 21 века. Компания добилась высокого положения с помощью хороших результатов поиска приработе алгоритма PageRank. Алгоритм был представлен общественности в статье «The Anatomy of Search Engine», которая была написана основателями Google, Ларри Пейджем и Сергеем Брином. Данный итеративный алгоритм осуществляет ранжирование веб-страниц, при основе на оценке количества гиперссылок на веб-страницу в предположении, что на «важные» и «хорошие» страницы ссылаются больше, чем на остальные. Интерфейс Google выдержан в минималистическом стиле, в котором нет ничего лишнего, в отличие от многих встраивающих поисковую систему в веб-портал конкурентов. Поисковая система Google стала настолько популярной, что порождала подражающие ей системы, такие как Mystery Seeker^[41].

К 2000 году поиковик Yahoo! осуществлял поиск на основе системы Inktomi. В 2002 Yahoo! году купил Inktomi, а в 2003 году купил Overture, которому принадлежали AltaVista и AlltheWeb. После этого Yahoo! работал на основе поисковой системе Google вплоть до 2004 года, до того момента пока не запустил свой собственный поисковик на основе всех купленных ранее технологий^[42].

Фирма Microsoft впервые осенью 1998 года запустила поисковую систему Microsoft Network Search с использованием результатов поиска от Inktomi. Совсем скоро в начале 1999 года сайт начал отображать смешанную с резултатами Inktomi выдачу Looksmart. Определенное время MSN search использовал результаты поиска от AltaVista. В 2004 году фирмой Microsoft начался переход к собственной поисковой технологии с использованием собственно разработанного поискового робота, называемого msnbot. После проведения ребрендинга в июне 2009 года компанией Microsoft была запущена поисковая система Bing. Microsoft и Yahoo! подписали соглашение 29 июля 2009, согласно которому Yahoo! Search работал на основе технологии Microsoft Bing^[43] [2, 3, 5].