Rus
Eng
Rus
Eng
Мы в соцсетях:
Ваш регион:
Уфа
б-р Ибрагимова, 19
первый этаж
ПН-ПТ, с 9 до 18 часов
8 (347) 266 53 88 8 (800) 250 70 13
Заказать звонок
Заказать звонок
Ваш регион:
Уфа
ПН-ПТ, с 9 до 18 часов
8 (347) 266 53 88 8 (800) 250 70 13
б-р Ибрагимова, 19
первый этаж

В продвижении сайтов очень важно обращать внимание абсолютно на все факторы, способствующие росту позиций вашего сайта в поисковых системах. Очень часто неопытные оптимизаторы забывают про такой важный файл, как robots.txt. Что это за файл? Для чего он нужен? На что он влияет, и как его создавать? Попробуем ответить на все эти вопросы ниже.

Robots для роботов

Файл robots.txt создается главным образом для поисковых роботов, которые несколько раз в месяц посещают ваш сайт и производят его индексацию. Такие роботы хранят списки URL сайтов, которые они посещали, и, если на сайте происходят какие-то изменения, добавляется новая страница, ссылка или документ, поисковый робот также добавляет его в свою базу данных. Таким образом любой сайт или документ может быть найден роботом, а соответственно и поисковыми системами.

Спрятать все лишнее!

С помощью robots.txt администраторы сайтов могут:

  • Закрыть от индексирования панели администрирования сайтов. Роботу информация, содержащаяся там, ни к чему. Также она точно не окажет положительного влияния на продвижение сайта в поисковых системах. Помните, что для каждой системы управления сайтами административная панель — разная. Запрет на индексацию осуществляется с помощью команды Disallow.
  • Заблокировать индексацию личных пользовательских аккаунтов. Это касается интернет-магазинов. Нельзя допускать, чтобы в поисковую выдачу попали персональные данные покупателей, в особенности платежные реквизиты.
  • Запретить индексацию не уникального контента и дублированных страниц (хотя хороший оптимизатор должен как можно скорее исправить эти недочеты).
  • Указать роботу на правильное «зеркало» домена с помощью директивы host.
  • Поставить в файле ссылку на карту сайта (sitemap.xml), чтобы робот мог быстрее и корректнее проверить ваш сайт.

Как создать robots.txt?

Находиться файл robots.txt всегда должен в корневой директории вашего интернет-ресурса. А создается он очень просто — с помощью обычных текстовых редакторов. В файле прописываются все основные правила, которые должен соблюдать робот при проверке вашего сайта.

ВАЖНО:

  • Запрещает индексацию команда disallow, разрешает — allow.
  • В самом начале файла прописывается, какому поисковому роботу будут адресованы команды. Прописав User-agent: *, можно адресовать все последующие строчки ко всем поисковым роботам.
  • Директива host прописывается только в самом конце файла и только один раз! Если вы пропишите в robots.txt две директивы host, то робот воспримет только первую.
  • Проверить, корректно ли составлен ваш robots.txt, вы можете в сервисах Яндекс Вебмастер и Google Вебмастер.

Всегда помните, что robots.txt — ваш главный помощник. Он запретит для индексации те части сайта, которые могут помешать его продвижению и хорошему ранжированию в поисковых системах.

Оптимизируйте свой сайт правильно, и тогда он станет работать на вас и ваш бизнес!