Поисковый робот

Поисковый робот - это скрипт поисковых систем, задачей которого является переход по ссылкам сайтов, сбор информации о страницах и передача собранной информации на сервера для занесения в базу данных и индексирования. С помощью поискового робота определяется наличие новой информации на сайте и отслеживается появление новых страниц. Управлять действиями роботов на сайте можно с помощью robots.txt.

Другие термины: