Добавлен: 16.06.2023
Просмотров: 367
Скачиваний: 3
2007 год и настоящее время. Гугл продолжает улучшать свои сервисы и развиваться во всех направлениях. Выходят много мобильных устройств от компании с собственной операционной системой. Происходят покупки перспективных старт апов и многое многое другое.[3]
2.2 Развитие Яндекс
Выпускник и аспирант Института нефти и газа им. Губкина Аркадий Волаж трудился над обработкой и анализом больших объемов данных в начале 90х годов и так же был генеральным директором CompTek. В процессе работы у программиста возникла идея создания компьютерной программы, которая позволила бы находить в больших текстах информацию с учётом морфологии русского языка(то есть по запросу слова в любой форме). Вместе с Аркадием Борковским, специалистом по компьютерной лингвистике Академии наук СССР, Волож в 1989 году открыл компанию «Аркадия». В 1990 году к команде программистов CompTek присоединился программист Илья Сегалович, бывший одноклассник и друг Воложа. Специалисты «Аркадии» в течение двух лет создали по заказу Центрального научно-исследовательского института патентной информации и технико-экономических исследований (ЦНИИПИ) две информационно-поисковые системы: Международную классификацию изобретений и Классификатор товаров и услуг. Впоследствии программы, записанные на дискеты, в течение трёх лет продавали научно-исследовательским институтам и организациям, занимавшимся патентоведением. К 1993 году CompTek занималась сбытом сетевых технологий, а чтобы не оставлять технологию поиска, «Аркадию», деятельность которой стала менее востребованной, сделали одним из департаментов CompTek. В 1993 году была написана первая рабочая версия локального поисковика для локальных компьютеров который назвали Yandex.
В 1995 году, когда компания CompTek вышла в сеть Интернет, появилось первое решение настроить поисковую систему для новых условий, чтобы пользователем было удобно ориентироваться в сети и проще искать информацию.
1997-2000 год
В сентябре 1997 года на выставке Softool была представлена поисковая система Яндекс, а через два месяца уже был реализован естественно-языковый запрос. Яндекс индексировал сайты в расширении .su и .ru. Программа учитывала специфику русского языка и умела находить начальную форму слова. Язык запросов позволял искать запросы в документах, абзацах, заголовках и тд.
В конце 1997 года Яндекс стал официальным поисковиком в браузере Internet Explorer для наибольшей локализации на Российском рынке.
В 1998 году появилась функция «найти похожий документ». По состоянию на 1998 год Яндекс работал на трех серверах, одна обрабатывала Интернет и индексировала документы, вторая была поисковая и третья дублировала вторую.
В 1999 года произошло обновление поисковой системы, улучшены фильтры анти-спам, появилась возможность поиска по категориям и введен тематический поиск.
В дальнейшим на развитее системы требовались средства и Волаж стал искать инвесторов. В итоге в конце 1999 года, капитализация компании оценивалась в 72 000 долларов в год, хотя по оценки самого Яндекс сумма была около 15 миллионов в год.
2.2.1. Начало 2000х годов
Весной 2000 года ComTex учредили ООО «Яндекс», для управления сайтом. Компании перешли права на одноименные продукты и созданных проектов. В этот период времени инвесторы со всего мира стали интересоваться развитием интернета и интернет-фирмами. Волажу удалось привлечь инвесторов на довольно значительную часть акций компании. В том же году поисковик получил обновление, были открыты сервисы Почта, Новости, Товары, Открытки и тд. В 2001 году Яндекс становится лидером среди поисковых систем в Рунете обогнав Рамблер и всех остальных.
В 2002 году доходы сервиса начали превышать расходы, а летом того же года компания вместе с российской PayCash запускает сервис ЯндексДеньги.
В 2003 году компания начинает выплату первых дивидендов своим инвесторам.[4]
2.2.2. 2004 год и настоящее время
В 2004 году Яндекс объявляет об открытие образовательных программ. При поддержке сервиса избранным стипендиатам была оказана поддержка в написании научных статей. В том же году были открыты новые сервисы ЯндексКарты, ЯндексБлог.
В 2005 году был открыт офис на Украине, а уже в 2006 году запустили первый удаленный офис разработки, который находился в Санкт-Петербурге. С 2007 года компания Яндекс продолжила улучшать свои старые сервисы, а также выпускать новые. В 2011 году для компании происходит зачинаемое событие и Яндекс выходит на биржу, а годом позже они выпускают свой собственный браузер, так же продолжается стремительное улучшение своих старых сервисов и создание новых.
На сегодняшний день Яндекс занимает 4е место в мире среди поисковых систем в Интернете.[5]
2.3 Развитие Baidu, Yahoo! и всех остальных
2.3.1 Yahoo!
В 1994 году аспиранты Стэндфордского университета Дэвид Фило и Джерри Янг создали свой поисковый сервис «Путеводитель Джерри во всемирной паутине». В дальнейшем оценив перспективу данного сервиса сайт был переименован в Yahoo! и была открыта одноименная корпорация. В конце 90х годов ХХ века Yahoo! был мировым лидером в среде поисковых систем интернета. Активно развивались сервисы, появился первый бесплатный почтовый сервис, было объявлено о слиянии с eBay, которое правда произошло лишь в 2006 году и то с частичным объединением.
В начале 2000х годов лидерство Yahho! было не так заметно, и развитие пошло на спад. К настоящему времени сервис собирается быть продан двум телекоммуникационным компаниям США, в связи со своей нерентабельностью.
2.3.2 Baidu
В 2000 году в Китае появилась компания Baidu, которая занималась в основном поисковыми системами. Основана в 2000 году, основатели — Робин Ли и Эрик Сю, получившие высшее образование в США. $1,2 млн стартового капитала привлекли от американских венчурных компаний. Название компании взяли из поэмы времен династии Сун, оно означает «поиск мечты». Через год получили от венчурных компаний ещё $10 млн. инвестиций. В 2004 году Baidu стала лидирующей поисковой системой в Китае.
В 2005 году компания вышла на биржу, при размещении акции Baidu установили рекорд десятилетия — к концу торговой сессии они подорожали более чем в четыре раза. В декабре 2007 года Baidu стала первой китайской компанией, акции которой включены в индекс NASDAQ-100.
2.3.3 Прочие поисковые системы
В России в середине 90х годов были запущены поисковые системы Рамбер и Апорт, в мире были распространены MSN Search, Ask, Bing и многие другие. На сегодняшний день многие из сервисов не так популярны как раньше и большую долю рынка занимают Google, Baidu, Bing и в России Яндекс.
3. Типы поисковых систем
Существует четыре типа поисковых систем: с поисковыми роботами, управляемые человеком, гибридные и мета-системы.
Системы, использующие поисковых роботов
Состоят из трёх частей: краулер («бот», «робот» или «паук»), индекс и программное обеспечение поисковой системы. Краулер нужен для обхода сети и создания списков веб-страниц. Индекс — большой архив копий веб-страниц. Цель программного обеспечения — оценивать результаты поиска. Благодаря тому, что поисковый робот в этом механизме постоянно исследует сеть, информация в большей степени актуальна. Большинство современных поисковых систем являются системами данного типа.
Системы, управляемые человеком (каталоги ресурсов)
Эти поисковые системы получают списки веб-страниц. Каталог содержит адрес, заголовок и краткое описание сайта. Каталог ресурсов ищет результаты только из описаний страницы, представленных ему веб-мастерами. Достоинство каталогов в том, что все ресурсы проверяются вручную, следовательно, и качество контента будет лучше по сравнению с результатами, полученными системой первого типа автоматически. Но есть и недостаток — обновление данных каталогов выполняется вручную и может существенно отставать от реального положения дел. Ранжирование страниц не может мгновенно меняться. В качестве примеров таких систем можно привести каталог Yahoo, dmoz и Galaxy.
Гибридные системы
Такие поисковые системы, как Yahoo, Google, MSN, сочетают в себе функции систем, использующие поисковых роботов, и систем, управляемых человеком.
Мета-системы
Метапоисковые системы объединяют и ранжируют результаты сразу нескольких поисковиков. Эти поисковые системы были полезны, когда у каждой поисковой системы был уникальный индекс, и поисковые системы были менее «умными». Поскольку сейчас поиск намного улучшился, потребность в них уменьшилась. Примеры: MetaCrawler и MSN Search.
4. Алгоритмы работы поисковых систем
Работа поисковых систем осуществляется по определенным формулам. Каждый алгоритм основан на поиске и отображении определенных запросов. Использование определенных алгоритмов позволяет поисковым системам лучше отбирать запросы, отсеивать не нужную информацию и оптимизировать работу. Алгоритмы учитывают плотность материалов на сайте, как долго пользователь проводит на нем и многое другое. Но самое главное, что учитывает поисковая система, это уникальность самого контента на сайте.
Рассмотрим алгоритмы работ поисковых систем на основе популярных систем в нашей стране.
4.1 Алгоритм работы Google
Первые поисковые алгоритмы Google были основаны на ранжировании страниц по PageRank. Чем большее количество внешних ссылок вело на ресурс, тем более авторитетный показатель ему присваивался.
Изначально поисковый алгоритм Google уделял максимум внимания внутренним характеристикам страницы. Теперь же учитываются и множество других показателей, в том числе и географическая принадлежность.
С 2000 года Google запустил алгоритм под названием Hilltop (Хилтоп), который лучше просчитывал значения PageRank.
В 2003 году поисковая система ввела алгоритм под названием Florida (Флорида), который поставил под сомнение используемые на тот момент методы продвижения и понизил в результатах поиска сайты, материал которых был сильно переспамлен ключевыми словами.
Три года спустя, в 2006 году, в работу поисковой машины был внедрен новый алгоритм, разработанный Ори Алоном, под названием Orion (Орион). Он значительно улучшил качество поиска. При ранжировании сайтов алгоритм учитывал их качество.
В 2007 г. Google вводит новый алгоритм Austin (Остин). В результате его работы большинство ресурсов, занимающих первые позиции, потеряли свои «места под солнцем».
В 2009 году Google ввел алгоритм Caffeine (Кофеин), который существенно увеличил скорость поиска и индексации страниц.
4.2 Алгоритм работы Яндекс
Руководители системы Яндекс предоставляют пользователям значительно больше информации о принципе работы поисковой машины.
С 2007 года обо всех изменениях в работе системы пользователи могут узнавать из официального блога Яндекс.
Первый алгоритм, о котором Яндекс заявил публично, стал 8 SP1. Все последующие алгоритмы ПС были названы в честь различных городов. Следующий внедренный алгоритм получил название Магадан. Его анонс состоялся 16 мая 2008 года. Возможности алгоритма:
количество критериев при ранжировании увеличилось в два раза; внедрена система классифицирования сайтов в зависимости от их содержания и тематики ссылок;
возросла точность и скорость поиска;
система «научилась» распознавать аббревиатуры.
Помимо вышеперечисленных улучшений поисковая система Яндекс начала индексировать зарубежные ресурсы. Следующим поисковая система внедряет алгоритм Находка. Он включил в себя следующие изменения:
расширение словарной базы системы;
улучшение способов обучения поисковой машины.
Также пользователи заметили, что по многим запросам лидирующие позиции занимают старые сайты, из чего следует, что возраст ресурса, играет определенную роль при его продвижении.
Алгоритм Арзамас результаты выдачи по запросу стали отличаться в зависимости от географического расположения пользователей, всего было создано 19 зональных принадлежностей; были внедрены фильтры, которые понижали позиции сайтов, использующих «жесткие» рекламные методы, в том числе popunder, а затем и clickunder (bodyclick);
Алгоритм Снежинск осенью 2009 года Яндекс заявил о внедрении алгоритма Снежинск, основной частью которого стал Матрикснет (MatrixNET). Результаты стали еще более релевантными поисковым запросам, так как система смогла переобучаться и делать вычисления точнее.Были введены следующие изменения в работе поисковой системы: