О robots.txt

30 апреля 2013, вторник

Перед тем, как индексировать сайт, поисковая система проверяет наличие файла robots.txt Именно в нем инструкция для поисковых роботов с указанием директорий, запрещенных к индексации. Файл должен находиться в корневом каталоге.

Для оптимизации сайта файл robots.txt играет важную роль. С помощью данного файла мы управляем перемещением паука по нашему веб-ресурсу. Следует закрыть от индексации:

динамические директории;
личный кабинет пользователя;
административный модуль;
систему статистики;
rss потоки;
счетчики, ссылки на сторонние ресурсы.

Цель подобных мер – избежать дублирования информации, чтобы поисковый робот не проиндексировал одну и ту же информацию несколько раз. Оптимизация путей следования роботов поисковых систем значительно повышает уровень доверия к вашему сайта со стороны поисковиков.

Структура robots.txt (простой вариант):
User-Agent: *
Disallow: /
Такой файл запрещает доступ любых поисковых роботов к любым директориям сайта. Для детального изучения правил оформления файла robots.txt рекомендуем обратиться к разделу помощи поисковой системы Яндекс или Гугл.

Подписка на рассылки. Введите ваш E-MAIL.