Паук (или «спайдер») - часть поисковой машины, которая постоянно путешествует по узлам сети, собирая и обновляя информацию, кодирует ее (индексация) и записывает в специализированную базу данных. Поисковые системы (search engines) распространены в гораздо большем количестве, чем электронные справочники и число их продолжает увеличиваться.
Работа с ними требует серьезных навыков, поскольку простой ввод искомого термина в поисковую строку может привести к получению в ответ списка из сотен тысяч документов, содержащих данное понятие.
Поисковые системы по существу представляют собою базы данных слов, полученных при периодическом сканировании виртуального информационного пространства.
С помощью специальных компьютерных программ поисковые системы регулярно обследуют Интернет выявляя новые и обновленные источники и удаляя сведения о вышедших из употребления.
Весь этот материал, с указанием ссылки на то где хранится каждое слово, содержится в виде гигантских индексных файлов, к которым и происходит обращение при конкретном запросе.
Принципиальным вопросом является то, насколько полно та или иная система обследует тексты, т.е. все ли слова заносятся в индексные файлы или же только термины из названий, заголовков, резюме, первых двух страниц текста и т.д.
Важно также, как часто происходит обновление данных, каким образом системы "взвешивают" понятия, определяя их соответствие данному запросу.
Однако, при этом не учитываются документы, не содержащие ключевых слов. Да и к тому же в списке содержится много шумовой, не относящейся к делу информации, отсеивание которой занимает немалое время.
А по-сему среди доброй сотни поисковых систем выделяются несколько наиболее популярных источников.
К таковым относятся:
Alta Vista
HotBot
WebCrawler
Magellan
MetaCrawler
