Файл: Анализ поисковых систем в интернете.pdf

ВВЕДЕНИЕ

На сегодняшний день, каждый человек в мире начинает свое утро с поиска какой-либо информации. В мире где технологии так быстро развиваются и являются уже неотъемлемой частью нашей жизни, очень важно правильно и своевременно ее находить. На примере данной работы я хотел бы провести анализ поисковых систем, так как умение быстро находить точную и полную информацию и знание как работают поисковые системы, есть ключ к многим возможностям

Глава 1: История возникновения сетей интернет

В начале развития сети Интернет, в сети было крайне мало информации, а круг пользователей, которые имели к ней доступ так же был ограничен. В основном доступ был у сотрудников крупных компаний, госслужащих, а также научных сотрудников и сотрудников лабораторий.

В 1990 году  британский ученный Тим Бернерс-Ли (который также является изобретателем URI, URL, HTTP, World Wide Web) создал сайт info.cern.ch, который является первым в мире доступным каталогом интернет-сайтов. С этого момента Интернет начал набирать популярность не только среди научных кругов, но и среди простых обладателей персональных компьютеров.

Таким образом, первым способом облегчения доступа к информационным ресурсам в Интернете стало формирование каталогов сайтов. Ссылки на ресурсы в них были сгруппированы по тематике.

Первым проектом такого рода принято считать Yahoo, открытый в апреле 1994 года. В связи со стремительным ростом количества сайтов в нём, вскоре появилась возможность поиска необходимой информации по запросу. Конечно же, это ещё не было полноценной поисковой системой. Поиск был ограничен только данными, которые находились в каталоге.

На ранних этапах развития сети интернет каталоги ссылок использовались очень активно, но постепенно утрачивали свою популярность. Причина проста: даже при наличии множества ресурсов в современных каталогах, они все равно показывают только малую часть имеющейся в сети Интернет информации. К примеру, самым большим каталогом сети является — DMOZ (Open Directory Project). Он содержит информацию о чуть более пяти миллионах ресурсов, что несоизмеримо с поисковой базой Google, содержащей более восьми миллиардов документов.

Самым крупным русскоязычным каталогом является Яндекс-каталог. Он содержит информацию о чуть более ста четырёх тысячах ресурсов.[1]

1.1 Хронология развития поисковых систем

1945 год – американский инженер Ванневар Буш опубликовал записи идеи, которая привела в дальнейшем к изобретению гипертекста, и рассуждение о необходимости разработки системы быстрого извлечения данных из таким образом хранимой информации (эквивалент сегодняшних поисковых систем). Введённое им понятие устройства-расширителя памяти содержало оригинальные идеи, которые, в конце концов, воплотились в Интернете.

1960-е — Джерард Сэлтон и его группа в Корнелльском университете разработали «Остроумную систему извлечения информации» (SMART information retrieval system). SMART — аббревиатура от Salton’s Magic Automatic Retriever of Text, то есть «Волшебный автоматический извлекатель текста Сэлтона». Джерард Сэлтон считается отцом современной поисковой технологии.

1987-1989 – разработана Archie — поисковая система для индексации FTP архивов. Archie представлял из себя сценарий, автоматизирующий внедрение в листинги на ftp-серверах, которые затем переносились в локальные файлы, а уже потом в локальных файлах осуществлялся быстрый поиск необходимой информации. Поиск основывался на стандартной grep-команде Unix, а доступ пользователя к данным осуществлялся на основе telnet.

В следующей версии данные были разбиты на отдельные базы, одна из которых содержала только текстовые названия файлов; а другая — записи со ссылками на иерархические директории тысячи хостов; и еще одна, соединяющая первые две. Эта версия Archie была эффективней предыдущей, так как поиск производился только по именам файлов, исключая множество существующих ранее повторов.

Поисковая система становилась всё популярнее, и разработчики задумались, как ускорить её работу. Упомянутая выше база данных была заменена на другую, основанную на теории сжатого дерева. Новая версия, по существу, создала полнотекстную базу данных вместо списка имен файлов и была значительно быстрее, чем раньше. В дополнение, второстепенные изменения позволили системе Archie индексировать web-страницы. К сожалению, по различным причинам, работа над Archie вскоре прекратилась.

В 1993 году была создана первая в мире поисковая система для Всемирной сети Wandex. В её основу был заложен World Wide Web Wanderer бот, разработанный Метью Греем из Массачусетского технологического института.

1993 год – Мартин Костер создаёт Aliweb – одну из первых поисковых систем по World Wide Web. Владельцы сайтов должны были сами их добавлять в индекс Aliweb, чтобы они появлялись в поиске. Поскольку слишком мало вебмастеров это делали, Aliweb не стал популярным

20 апреля 1994 г. – Брайан Пинкертон из университета Вашингтон выпустил WebCrawler — первого бота, который индексировал страницы полностью. Основным отличием поисковой системы от своих предшественников является предоставление возможности пользователям осуществлять поиск по любым ключевым словам на любой веб-странице. Сегодня эта технология является стандартом поиска любой поисковой системы. Поисковая система «WebCrawler» стала первой системой, о которой было известно широкому кругу пользователей. Увы пропускная способность была невысокой и в дневное время система часто была недоступной.

20 июля 1994 г. – открылся Lycos — серьезная разработка в технологии поиска, созданная в университете Карнеги Мелон. Майкл Малдин был ответственен за эту поисковую систему и до сих пор остаётся ведущим специалистом в Lycos Inc. Lycos открылся с каталогом в 54,000 документов. И в дополнение к этому результаты, которые он предоставлял, были ранжированными, кроме того он учитывал приставки и приблизительное совпадение. Но главным отличием Lycos был постоянно пополняемый каталог: к ноябрю 1996 было проиндексировано 60 миллионов документов — больше, чем у любой другой поисковой системы того времени.

Январь 1994 г. — был основан  Infoseek. Он не был по-настоящему инновационным, но имел ряд полезных дополнений. Одним из таких популярных дополнений была возможность добавления своей страницы в реальном времени.

1995 год – запустилась AltaVista. Появившись, поисковая система AltaVista быстро получила признание пользователей и стала лидером среди себе подобных. У системы была практически неограниченная на то время пропускная способность, она была первой поисковой системой, в которой было возможно формулировать запросы на естественном языке, а также формулировать сложные запросы. Пользователям было разрешено добавлять или удалять их собственные URL в течение 24 часов. Также AltaVista предлагала много советов и рекомендаций по поиску. Основной заслугой системы AltaVista считается обеспечение поддержки множества языков, в том числе китайского, японского и корейского. Действительно, в 1997 году ни одна поисковая машина в Сети не работала с несколькими языками, тем более с редкими.

1996 год — поисковая машина AltaVista запустила морфологическое расширение для русского языка. В этом же году были запущены первые отечественные поисковые системы – Rambler.ru и Aport.ru. Появление первых отечественных поисковых систем ознаменовало новый этап развития Рунета, позволяя русскоязычным пользователям осуществлять запрос на родном языке, а также оперативно реагировать на изменения, происходящие внутри Сети.

20 мая 1996 г. — появилась корпорация Inktomi вместе со своим поисковиком Hotbot. Его создателями были две команды из калифорнийского университета. Когда сайт появился, то он быстро стал популярным. В октябре 2001 Дэнни Салливан написал статью под названием «База данных спам сайтов Inktomi открыта для публичного пользования», в которой рассказывалось о том, как Inktomi случайно сделал свою базу данных спам сайтов, которая к тому времени насчитывала уже около 1 миллиона URL, доступной для всеобщего использования.

1997 год – в западных странах наступает переломный момент в развитии поисковых систем, когда С. Брин и Л. Пейдж из Стэндфордского университета основали Google (первоначальное название проекта BackRub). Они разработали собственную поисковую машину, которая дала пользователям возможность осуществлять качественный поиск с учетом морфологии, ошибок при написании слов, а также повысить релевантность в результатах выдачи запросов.

23 сентября 1997 года – анонсирован Yandex, который быстро стал самой популярной у русскоязычных пользователей Интернета системой поиска. С запуском в поисковой системы Яндекс отечественные поисковые машины начали конкурировать между собой, улучшая систему поиска и индексации сайтов, выдачи результатов, а также предлагая новые сервисы и услуги

Таким образом, развитие поисковых систем и их становление можно охарактеризовать перечисленными выше этапами.

На сегодняшний день на мировом рынке обосновались три лидера – Google, Yahoo и Bing. Они имеют свои собственные базы, и свои алгоритмы поиска. Многие другие поисковые системы используют результаты этих трех основных поисковых систем. Например,  AOL использует базу данных Google в то время как AltaVista, Lycos и AllTheWeb используют базу данных Yahoo Все остальные поисковые системы в различных комбинациях, используют результаты (выдачу) перечисленных систем.

Если же провести аналогичный анализ поисковых систем, популярных в странах СНГ, то мы увидим, что mail.ru транслирует поиск Google, при этом накладывая свои новые наработки, Rambler, в свою очередь, транслирует Яндекс. Поэтому весь рынок рунета можно разделить между этими двумя гигантами. [2]

Глава 2: Развитие поисковых систем

2.1 Развитие Google

Компания Гугл на сегодняшний день является мировым лидером в сфере поисковых систем. Но более 20 лет назад все начиналось с простой дружбы двух энергичных студентов.

Сергей Брин ( со-основатель Гугл) будучи студентом в 1995 году согласился провести экскурсию в Стэндфордском университете для студентов. Там он познакомился с другим студентом и так же со-основателем Гугл Ларри Пейджом. С этого момента они становятся друзьями и начинают работу над поисковой системой, которая в дальнейшем выльется в такого медиа гиганта каким мы знаем сегодня Гугл.

Хронология развития Гугл:

1996-1997 Брин и Пейд работают над созданием поисковой системы BlackRub. Она работает на серверах Сендфордского университета, но ей перестает хватать ресурсов.

Создатели решают переименовать систему и 15 сентября 1997 года, появляется google.com.

1998 год. Компания начинает стремительно развиваться. Появляются первые инвесторы. Брин и Пейдж закупают новое оборудование и открывают офис в гараже. В сентябре 1998 года они регистрируют компанию в Калифорнии и нанимают своего первого сотрудника, их бывшего однокурсника Крейга Сильверштейна. В декабре 1998 по версии журнала PC Magazin Google вошел в ТОП100 лучших сайтов за год.

1999 год. Гугл стремительно растет. В связи с этим принимается решение о переезде в другой офис. Набираются все новые и новые сотрудники.

2000 год. Появляется сервис MentalPlex, способной читать мысли пользователей. Так зарождается новая традиция первоапрельских розыгрышей в Кремниевой долине. Появляется первая серия знаменитых дудлов, не связанная с какими-то важными событиями. Появляются зарубежные версии Гугл, на сегодняшний день Гугл можно найти на 150 языках мира. В 2000 году появляется отделение Гугл в Нью-Йорке. Появляются плагины для браузеров. В свет выходят все новые и новые функции.

2001 год. Гугл может себе позволить уже приобретать другие компании. Открывается офис в Токио. Запускается сервис Гугл картинки.

2002 год. Запускается Гугл Покупки, Гугл Новости и Гугл Лаборатория, где можно посмотреть новейшие разработки компании. Открывается офис в Сиднее. В феврале Гугл выпускает свое первое устройство  Google Search Appliance, которая подключается к корпоративной компьютерной сети и существенно упрощает поиск внутренних документов.

2003 год. Гугл  приобретает компанию Pyra Labs, разработчика Blogger. Этот сервис – почти ровесник Google. Сейчас его страницы посещают более 300 млн человек в месяц.

Появляется сервис Книги. Гугл организует конкурсы для программистов и рекламные гранты.

2004 год. Запускается Гугл Почта, Gmail. Организуется сервис по локации, который в дальнейшем выльется в Гугл Карты. Публикуется блог компании в Twitter и Google+. Объявляются первые получатели стипендии Гугл. Открывается офис в Гонконге. В 2004 году Гугл выходит на биржу. Акции ценятся довольно таки высоко. Появляется знаменитый сервис Планета Земля.

2005 год. Активно развивается сервис Карты, появляется множество возможностей и функций. Происходят оптимизации для мобильных устройств.

2006 год. Появляются все новые и новые сервисы. Гугл Финансы, Переводчик, Календарь, Кошелек, Таблицы и Документы, теперь все можно найти на Гугл. В конце года Гугл решает купить видео хостинг YouTube.