Файл: Анализ поисковых систем в сети Интернет (Принципы работы поисковой системы).pdf
Добавлен: 31.03.2023
Просмотров: 217
Скачиваний: 1
Каждый год Google предоставляет сведения по триллионам поисковых запросов. 15% запросов, которые ежедневно обрабатывает система, никогда ранее не использовались. Разработать алгоритмы поиска, которые обеспечивали бы полезные результаты по таким запросам, не так просто. Для этого требуются регулярные проверки качества поиска, а также вложения средств. На сегодняшний день, благодаря дистрибьюторским соглашениям с Yahoo, AOL и Ask Jeeves, Google ежедневно обрабатывает до 80% всех поисковых запросов, сделанных в интернете.
Yandex.
В системе производится поиск с учетом морфологии русского языка, поиск с учетом расстояния, и тщательно разработанный алгоритм оценки релевантности. Реализован естественно-языковой запрос: теперь поисковик можно спрашивать «по-русски», задавая длинные вопросы. Поисковый робот позволяет предоставить возможности поиска по разным зонам текста, ограничение поиска на группу сайтов, поиск по ссылкам и изображениям, так же существует индекс цитирования. Работает фильтрация результатов поиска от мата и порнографии. У Яндкса имеются почтовые службы, новости, открытки и закладки, автоматическое объединение новостей в сюжеты и выделение главных тем дня. Плюс, стилизованный под Google Toolbar,
12
спартанский поисковик ya.ru. Поиск ведется не только по веб-страницам, но и по специализированным массивам данных – новостям и товарам. Находит документы не только в формате HTML.
За последние несколько лет технологии машинного обучения совершили колоссальный рывок, сегодня сделав возможным то, что еще вчера казалось фантастикой. Обладая достаточным количеством эталонных примеров, образцов для подражания, нейронные сети научились самостоятельно творить, писать музыку в стиле великих композиторов или создавать картины, подражая манере известных художников. В Яндекс.Поиске используются те же технологии, но в каком-то смысле задача здесь сложнее, потому что отсутствуют заранее готовые эталонные данные для обучения, примеры, на которые можно было бы настраиваться.
Чтобы научить поиск понимать самые разные запросы пользователей и находить на них хорошие ответы, эталонные данные для обучения приходится готовить самим. В Яндексе уже несколько лет сбором данных для машинного обучения занимаются асессоры, специально отобранные люди, которые в основном занимаются оценкой релевантности документов.
Асессор получает реальный пользовательский запрос, который случайно попал в базу, и документы, которые могли бы найтись по этому запросу, и оценивает, насколько тот или иной документ может быть хорошим ответом на запрос пользователя. Чтобы обучить поиск ориентироваться во множестве возможных трактовок и смыслов и понимать самые разные пользовательские запросы, нужно обрабатывать как можно больше реальных пользовательских запросов и собирать для них оценки релевантности. На протяжении многих лет, из года в год, Яндекс постоянно увеличивал количество оценок в обучающей базе. Сам поиск развивался: появился поиск по картинкам, по видео, появлялись многие внутренние классификаторы и алгоритмы, все они работали на технологиях машинного обучения, всем им нужны были данные для настройки. Чтобы собирать всё больше и больше данных по всё большему количеству проектов, требовалось больше и больше людей. В какой-то момент, когда асессоров стало больше полутора тысячи и их всё равно не хватало, в Яндекс поняли, что нужно что-то менять, что технологии и области применения машинного обучения развиваются так быстро, что никакая, даже очень хорошо масштабируемая и быстрорастущая, но ограниченная, команда не способна будет удовлетворить постоянно растущие потребности в обучающих данных. Тогда Яндекс создали свою открытую краудсорсинговую платформу, на которой любой желающий может зарегистрироваться как исполнитель, находить для себя интересные задания и выполнять их за
13
вознаграждения; любой заказчик, которому нужны данные для машинного обучения, может зарегистрировать и размещать там свои задания. Назвали данную платформу Толокой – по названию старинной деревенской традиции: когда жители деревни собирались вместе, чтобы сообща сделать большое дело, такое, какое не под силу одному человеку. Так и на платформе Яндекс.Толока: за несколько лет ее существования собралось уже более миллиона толокеров, сообща они сделали более двух миллиардов оценок, которые пошли на обучение искусственного интеллекта.
Открытие Яндекс.Толока дало колоссальный рывок в масштабируемости и объемах собираемых данных для обучения. Если раньше собирали миллионы оценок силами только асессоров, то сейчас счет уже идет на миллиарды; если раньше асессоры принимали участие в десятках разных проектов, то сейчас в Яндекс.Толока открыто более полутора тысяч разных типов заданий и разных проектов. Среди заданий, которые могут выполнять толокеры, есть и оценка релевантности документов, и задания для развития карт и геопоиска (вооружившись мобильным приложением, толокеры ходят по самым разным регионам и проверяют актуальность данных об организациях для базы справочника), есть и любимые многими толокерами задания для настройки речевых технологий, которые особенно актуальны сейчас, потому что именно такой способ общения с машиной предпочитают самые новые пользователи Яндекс. Все требования для толокеров открыты и доступны, их можно увидеть в инструкциях, соответствующих заданиям в Яндекс.Толока. Иногда никогда инструкций не дается, а просто собирается субъективное мнение большого количества людей.
3.Bing
Bing – поисковая система, которая разработана корпорацией Microsoft. Microsoft уже делал попытки запустить свою поисковую систему. Это были MSN Search — search.msn.com – c 1998 до 2006 года, Windows Live Search – search.live.com – работал до марта 2007 года, Live Search – live.com – до 1 июня 2009 года и по сути это новое название последней поисковой системы, с
14
обновленными возможностями, новым подходом, и новыми технологиями. Название поисковика Bing расшифровывается как: Bing is not Google (Bing это не Google). Поисковая система является второй в США (после Google) с 16 процентами и второй в мире с 3.23 процентами доли поиска.
Bing имеет классический для поисковиков интерфейс с возможностью поиска по категориям: картинки, видео, карты, новости. Здесь же можно воспользоваться инструментами Microsoft Office в режиме онлайн, перейти на сайт корпорации, зарегистрировать учетную запись и ящик на Outlook или Hotmail, завести свое облачное хранилище.Поисковая система работает на русском языке, определяя автоматически местонахождение пользователя. При этом не существует адреса Bing.ru, поисковая система работает только на домене com.
Алгоритм ранжирования поисковой системы Bing более чем на 90% основан на машинном обучении. Взаимодействие с пользователем – один из самых сильных сигналов в Bing. Поэтому активное участие аудитории увеличивает шансы на высокие позиции в этой поисковой системы. Для оценки сайта поисковик использует термин, известный как «пого-стик». Он обозначает ситуацию, когда пользователь вводит запрос поисковую в строку, нажимает на результат в выдаче, а затем щелкает по кнопке «Назад», чтобы вернуться к поиску. Если процент людей, которые переходят на сайт и сразу возвращаются к выдаче, высок, то поисковая система будет рассматривать этот сигнал как свидетельство плохого взаимодействия. Однако если люди задерживаются на сайте, у него есть все шансы на то, чтобы выйти в топ. Bing считает клики по результату в выдаче, плюсует к ним данные о взаимодействии с пользователем и использует этот микс сигналов для улучшения результатов поиска. К примеру если при равных условиях сайт на первой позиции получает меньшее количество кликов, а второй большее, то в скором времени, при сохранении тенденции, они поменяются местами в результатах поиска.
Bing придает большое значение анкорным текстам. Поэтому, если пользователь хочет, чтобы ссылка учитывалась при ранжировании, он должен использовать анкорный текст.
Bing не так хорош, как Google в сопоставлении ключевых слов. Поэтому ему нужно прописывать ключевые фразы в точном вхождении. Но с оптимизацией нельзя перебарщивать. В противном случае будет легко нарваться на Google Penguin (алгоритм поисковый системы, направленный на устранение веб-спама).
15
4.Mail.ru.
Mail.ru - русскоязычный интернет-портал, принадлежащий технологической компании Mail.ru Group. Второй по популярности русскоязычный поисковик в рунете. Объединяет главную страницу сайта и тематические проекты, служит единой «точкой входа» для принадлежащих компании интернет-служб — почты, поиска, социальной сети «Мой мир», облачного сервиса, мессенджеров «Агент Mail.ru» и ICQ.
Первые поисковые технологии в компании Mail.ru начали разрабатываться в 2004 году под руководством Михаила Костина, прежнего руководителя системы Апорт. Инвестиции в проект составили около 700 тыс. долл. Сам домен gogo.ru был приобретён компанией Mail.Ru ещё в 2000 году. Результатом работы стал открытый в 2007 году сайт GoGo.ru. Поисковик имел первый на тот момент в рунете поиск по видео, а также поиск по картинкам. К отличительным особенностям поисковика можно отнести русскоязычный поиск по видеороликам, а также по базе данных проекта "Ответы mail.ru". Также разработчики предусмотрели возможность тематической фильтрации результатов текстового поиска. Выдачу можно ограничить информационными, коммерческими и пользовательскими (форумы и блоги) источниками. Поисковик мог исправлять опечатки и реализовывать поиск по ключевым словам. По итогам Российского семинара по оценке методов информационного поиска (РОМИП), формула текстового ранжирования GoGo заняла первое место. Тем не менее, нужно отметить, что GoGo так и не стал основным поисковиком на главной странице Mail.ru. В течение многих лет в поисковой строке на главной странице Мейл.ру использовался сторонний движок: в 2004—2006 и 2010—2013 годы использовался поиск Google, 2007—2009 годах — решение от Яндекса. В 2009 году Яндекс разорвал контракт с Mail.ru об использовании технологий последнего на главной странице портала. Причиной стал отказ размещать логотип Яндекса на поисковике Mail.ru. В течение 8 месяцев портал работал полностью на собственном движке. В августе 2010 года был заключен контракт с Google, о чём стало известно широкой публике только в декабре того же года. Согласно условиям контракта, на собственный поисковик Mail.ru приходится 40 % выдачи, остальные 60 % выдачи — на Google.26 января 2011 года был запущен новый AJAX-интерфейс поиска по картинкам. Вместо постраничной выдачи теперь
16
новые картинки подгружаются внизу страницы по мере надобности.
В марте 2011 был запущен «социальный поиск» — теперь страницы в поисковой выдаче будут сопровождаться информерами с количеством рекомендаций пользователей соцсетей. В июне того же года появился «Поиск по обсуждениям» (go.mail.ru/realtime), позволяющий в режиме реального времени отслеживать обновление информации на новостных лентах, блогах и микроблогах. В феврале 2012 года был запущен собственный независимый поисковый движок в режиме бета-тестирования по адресу o.go.mail.ru.
11 ноября 2012 года появились инструменты для вебмастеров. В качестве планов было заявлено создание собственной системы контекстной рекламы.
В ноябре 2012 от анонимных источников внутри компании стало известно, что Mail.ru откажется от услуг Google в пользу собственной поисковой технологии в связи с будущим выходом на международный рынок (под брендом my.com). Также появились данные о создании собственной системы контекстной рекламы. Официально о переходе на собственные поисковые разработки Мэйл.ру объявила 1 июля 2013 года. Месячная аудитория сервиса на тот момент составляла 39,5 млн человек с долей около 10 % на рынке. Число сотрудников проекта Go.mail.ru выросло с момента запуска с 15 до 200 чел, а количество проиндексированных документов составляло 10 млрд.
В ноябре 2013 в Google Play появилась новая версия поискового приложения от компании Mail.ru, позволяющего переходить с главного экрана в любые социальные сети и содержащего быстрый доступ к поиску по картинам, видео и новостям. Android-приложение превратилось в мини-браузер, заточенный под эффективный поиск нужной информации. Утилита также научилась распознавать поисковые запросы, заданные не текстом, а голосом. Разработчики также отмечают, что создали специальный виджет, который можно поместить на главный экран смартфона или планшета на базе системы Google Android. Подразумевается, что это позволит ещё сильнее сократить время, затрачиваемое на поиск.
В декабре 2013 внедрена технология «ручного» механизма ранжирования, благодаря чему веб-мастера могут самостоятельно добавлять запрос и документ в индекс Поиска Mail.ru. Это позволяет сайту органически «встроиться» в ранжирование и влиять на выдачу естественным образом. Таким образом, механизм ранжирования становится «ручным»: теперь качество сайтов оценивают не алгоритмы, а люди. Вот что по этому поводу
17
сообщил Андрей Калинин:
"Сначала хотел бы уточнить: в индекс сайты попадают обычным способом. Мы же решили добавить для веб-мастеров, создающих хорошие и достойные сайты, возможность гарантированного попадания ресурсов на верхние позиции выдачи. До сих пор веб-мастерам приходилось не только делать хорошие сайты, но и заниматься поисковой оптимизацией. Но, во-первых, не всем интересно заниматься оптимизацией; а, во-вторых, лучшая оптимизация ещё не гарантирует, что контент сайта окажется максимально качественным. Теперь сами веб-мастера могут указать, какие запросы они считают «своими», и по каким правильно показывать их страницу на первой позиции."
В январе 2014 добавлен поиск по описанию и контенту мобильных приложений в AppStore и Google Play на основе технологий российского стартапа Osmino. Аналогичный поиск в других поисковых системах и магазинах приложений доступен только по описанию приложени. С 1 июля 2013 года сервис использует собственные поисковые технологии, которые разрабатывались командой инженеров Mail.ru.
4.Baidu
Baidu - китайская компания, предоставляющая веб сервисы, основным из которых является поисковая система с таким же названием — лидер среди китайских поисковых систем. Занимает, примерно, 1,5 % глобального рынка поисковиков. В индексе Байду содержится свыше 740 млн веб-страниц, 80 млн изображений и 10 млн медиафайлов. Baidu так же имеет энциклопедию Baidu, которая обогнала Китайскую википедию.
Основана в 2000 году, основатели — Робин Ли и Эрик Сю, получившие высшее образование в США. $1,2 млн стартового капитала привлекли от американских венчурных компаний. Название компании взяли из поэмы времен династии Сун, буквально оно означает «сто раз». Через год получили от венчурных компаний ещё $10 млн инвестиций. В 2004 году Baidu стала
18
лидирующей поисковой системой в Китае.
Самым важным этапом в процессе формирования компании стал правильный подбор сотрудников. Руководство Baidu тщательно подошло к этому процессу. В большинстве своем это такие же, как и Робин Ли, граждане КНР, получившие образование в вузах США и поработавшие в крупных ИТ-компаниях. При этом кадры в Baidu подобраны настолько идеально, что Google несколько раз пыталась увести некоторых ключевых специалистов. Через год компании удалось укрепить собственные позиции, фактически монополизировав аудиторию в Китае. В 2005 году прибыль компании составляла $13,2 млн.
На данный момент Baidu контролирует 80% китайского рынка, что составляет около 465 млн пользователей. Огромную часть трафика (около 40%) в Baidu обеспечивает сервис по поиску прямых ссылок на скачивание аудиотреков. Такое наплевательское отношение к авторским правам вызвало волну осуждения со стороны звукозаписывающих компаний со всего мира, но Робин Ли проигнорировал его, заметив, что борьба с незаконно размещенным контентом не является целью поисковой системы. Вполне вероятно, что молодую компанию уничтожили бы при помощи исков, но китайское правительство не выдает своих граждан.
Высокий доход связан, в первую очередь, с оригинальным способом монетизации. Baidu сделала платной возможность попадания сайта в топ поиска. Стоимость зависит от тематики ресурса и ключевых фраз. При этом сервис оставался не очень избирательным в выборе клиентов, что привело к серии громких скандалов.