Тема 2. Виды поисковых машин

Одним из первых инструментов поиска в интернете (до WWW) был Archie. Первой поисковой системой для Всемирной паутины был «Wandex», разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой поисковой системой стала «WebCrawler», запущенная в 1994. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона. Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность.В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины Rambler и Aport. 23 сентября 1997 была открыта поисковая машина Яндекс.

Российские поисковые системы

Русскоязычные — большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках — украинском, белорусском, английском и др. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами.

  • Rambler (http://www.rambler.ru) Запущен в октябре 1996 года и изначально предназначался для выявления материалов на серверах в пределах бывшего СССР. К началу нового тысячелетия Rambler на время утратил лидирующие позиции, устарев практически по всем показателям. Однако проведенная в декабре 2002 коренная модернизации всей программно-аппаратной части позволила поисковой системе вновь обрести былой авторитет. По результатам тестов, Rambler занимает второе место после Яндекса по величине базы данных (ее объем на начало августа 2004 года составляет порядка 113 миллионов страниц). Производительность поискового робота декларируется в объеме 6,9 миллионов страниц в сутки. Rambler также усовершенствовал поиск по новостям, присылая робота на ведущие новостные сайты России каждые два часа.

  • Яндекс (http://www.yandex.ru или www.ya.ru) Запущен в сентябре 1997 года. В настоящее время - признанный лидер российского поискового сервиса. Демонстрирует высокие показатели, как по объему проиндексированных документов, так и по релевантности поиска. На начало августа 2004 года Яндексом проиндексировано свыше 1 миллиона 150 тысяч российских и зарубежных русскоязычных серверов, а также серверов на территории СНГ (всего учтено пордка 180 миллионов оригинальных документов). Актуализация базы осуществляется еженедельно. Кроме того, Яндекс - пока единственная российская поисковая система, индексирующая документы в форматах PDF, RTF и DOC.

  • Апорт (http://www.aport.ru) Поисковая система, запущенная в феврале 1996 года, ныне замыкает группу лидеров отечественных навигационных сервисов. Объем ее индексного файла на начало августа 2004 года составляет порядка 68 миллионов документов. Особенностью Апорт является то, что он не ограничивает своих роботов пределами доменов России и СНГ - в перечне результатов можно встретить ссылки на многие зарубежные сервера.

  • Google (http://www.google.com) Google - это поисковая система, которая использует количество ссылок на веб-сайт, как основной параметр популярности сайта. Это является особенно полезным в поиске хороших сайтов при простых поисковых запросах, например "автомобиль" или "путешествие". Система работает настолько хорошо, что Google приобрел большую славу за релевантность своих ссылок.

    • Зарубежные поисковые системы

  • Yahoo (http://www.yahoo.com)Yahoo является наиболее популярным поисковым средством. Секрет успеха Yahoo заключается в людях. Yahoo имеет около 150 редакторов, для того, чтобы составлять и редактировать содержимое своих каталогов. Yahoo имеет базу данных в более, чем 1 млн. проиндексированных сайтов. Также, в случае нехватки своей собственной базы данных, Yahoo использует базу данных Google (до июля 2000 года Yahoo пользовался базой данных Inktomi). Yahoo является старейшей поисковой системой, которая начала предоставлять свои услуги в 1994 году.

  • AltaVista (http://www.altavista.com)AltaVista является одной из наиболее крупных поисковых систем (по количеству проиндексированных страниц). Данный факт, а также возможность вести поиск по усложненным критериям отбора привели к большой популярности AltaVista. Эта поисковая система также предлагает дополнительные услуги в виде поиска по каталогам (взятыми из Open Directory and LookSmart), а также службу под названием "Ask AltaVista" ("спроси AltaVista"), результаты которой берутся из Ask Jeeves. AltaVista начала предоставлять свои услуги в декабре 1995 года. В настоящее время AltaVista владеет поисковой системой Raging Search.

  • Excite (http://www.excite.com/) Excite является одним из наиболее популярных поисковых средств в Интернете. Он имеет достаточно большой список проиндексированных веб-сайтов и предоставляет такую возможность как интеграция в результаты поиска информации о компании, если это возможно. Excite был запущен в 1995 году. В 1996 году он поглотил 2-х своих конкурентов: Magellan и WebCrawler. В настоящее время эти поисковые системы предоставляют свои собственные услуги.

  • HotBot (http://www.hotbot.com)HotBot является популярным поисковым средством благодаря наличию механизмов построения сложных поисковых запросов. В основном, 1-я страница результатов, полученных в ответ на поисковый запрос, приходит из Direct Hit, затем берутся результаты из Inktomi. Список каталогов предоставляется Open Directory. HotBot начал предоставлять свои услуги в мае 1996 года, а в октябре 1998 года он был куплен Lycos.

  • Lycos (http://www.lycos.com)Lycos начинал свою деятельность как поисковая система, затем, в апреле 1999 года, он переключился на модель, подобную Yahoo. Содержимое его каталогов берется из Open Directory, если этого недостаточно результаты берутся из FAST Search. Также, используются результаты Direct Hit. В октябре 1998Lycos приобрел HotBot, который, в настоящее время, используется как отдельная служба.