Что такое User-agent?

User-agent представляет собой директиву, прописанную в отдельном документе и предназначенную для поисковых роботов robots.txt. такая директива позволяет ввести определенные правила поведения для поисковых роботов на сайте, а также порядок его индексации каждым из роботов в отдельности.

В частности, с помощью User-agent можно закрыть от индексации тот или иной раздел сайта на время внесения изменений в текстовый контент, а изображения при этом оставить открытыми для поисковых роботов.

Помимо этого User-agent позволяет разделять директивы, предназначенные для разных поисковых систем. Ярким примером такого разграничения выступает директива Host, которая адекватно воспринимается Яндексом, Гугл же ее просто не замечает, а у Bing вообще могут возникнуть с ней определенные сложности. Именно поэтому следует четко понимать, для каких именно User-agent следует указывать подобные директивы.

Поделитесь с друзьями

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *