Robots.txt

Robots.txt - это специальный файл, который содержит инструкции для поисковых роботов по индексации страниц сайта. В нем можно запретить или разрешить роботам индексировать определенные страницы или разделы проекта. Данный файл размещается в корне проекта. Инструкции для роботов записываются с помощью специальных правил.

Другие термины: