Правильная настройка robots.txt
Robots.txt (The Robots Exclusion Protocol) – это текстовый файл, который пишется на языке html, он размещается в корне сайта, и содержит для роботов поисковиков инструкции по индексированию сайта. Они могут запретить некоторые страницы или разделы к индексации, показывать верное «зеркалирование» домена, создавать рекомендации роботам о соблюдении временных интервалов для скачивания файлов с сервера и другое.
Поисковые роботы сохраняют списки тех URL, которые могут быть ими проиндексированы, и постоянно выкачивают по ним документы. При обнаружении новых ссылок в таких документах, робот вносит ее в свой список.
Файлы robots.txt – это те файлы, которые поисковые роботы ищут прежде всего на сайтах.
Стандарт для robots.txt не имеет собственника. Начало пользования robots.txt стартовало в 1994 году.
Создать robots.txt не составляет сложностей, алгоритм достаточно прост. Вот основные правила:
Зачем скрывать отдельные страницы от поисковой индексации? Поисковый робот проработает весь сайт, в результате, вы можете получить в выдаче страницы, наполненные технической информацией, но не важный информационный контент, к которому робот так и не добрался. Обычно закрываются административные разделы сайта, файлы со стандартными названиями, директории, содержащие графическую информацию, страницы внутреннего поиска, корзину и страницы для оформления заказа, фильтры и сравнения товаров, страницы регистрации, системные каталоги. Так можно запретить доступ к отдельным папкам, страницам или ко всему сайту.
Структура файла robots.txt
Файл robots.txt обладает достаточно простой для понимания структурой и четким синтаксисом. Здесь не допускается применение каких-либо символов национальных алфавитов. Файл строго набирается в кодировке ANSI. По своей структуре он состоит их секций (блоков), относящихся к определенному поисковому боту. Секции состоят из предписаний (директив), которые и управляют самим процессом индексации поисковой системы. Перед блоками не допускаются вступительные заголовочные директивы. Между блоками нельзя вставлять символы (исключение – перевод строк). Нельзя использовать лишние символы для директив. Комментарии являются исключением из правил.
Основные директивы robots.txt:
Приоритет для директив Allow и Disallow, при совпадении путей, будет определятся по максимально соответствующему пути в одном блоке User-agent. Абсолютно все директивы в одном блоке будут сортироваться по длине, указанной в значении подстроки, в порядке ее увеличения. Приоритет будет отдан тому правилу, которое размещено в сортированном списке ниже, т.е. будет больше соответствовать имени. В том случае, если Disallow и Allow одинаково соответствуют префиксу одной длины, приоритетность получает директива Allow.
Директива Disallow с пустым значением параметра — «Disallow: », разрешает индексацию сайта и приравнивается указанию «Allow: /». А директива «Disallow: /» является эквивалентной директиве с пустым значением «Allow: », и означает запрет полной индексации сайта.
Ошибки в написании файла robots.txt
Отклонениями из этих правил, являются два случая:
Первое, использование комментариев среди директив.
Второе, поочередное использование прописных и строчных символов в директориях.
Добавить комментарий