User-agent - это инструкции роботам поисковых систем, которые позволяют определить правила поведения индивидуально для каждого робота. В некоторых случаях это очень полезная функция, которую следует знать всем оптимизаторам.
Другие термины:
Обучение SEO от Виталия Виноградова с Ютуба