Что такое Robots.txt?

Robots.txt – файл, который находится в корневой директории сайта. Главной его целью является управление действиями поисковых роботов на сайте. В таком файле прописываются все страницы и разделы сайта, индексация которых поисковиками нежелательна.

К таким разделам, которые следует закрыть от индексации, как правило, относят страницы с учетными сведениями пользователей или страницы с техническими данными.

Все поисковые роботы расходуют на индексацию сайта определенное количество времени, следовательно, если на портале достаточно много материалов, этого отрезка времени может просто не хватить, тогда проиндексируются только некоторые страницы. Поэтому следует все, что не стоит выкладывать в свободный доступ, от индексации скрыть.

Поделитесь с друзьями

Комментарий (1)

  • Ника Reply

    Весьма правильное замечание.. Это нужно учитывать при раскрутке своего ресурса. Такие детские ошибки могут стоят дорого создателю, не поднимая сайт в рейтинге и соответственно не принося доходов.

    22.06.2016 at 11:32

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *