Для чего нужен файл robots.txt и как его загрузить на сайт

  Автор:
  803

При публикациях ваших Записей и Страниц в интернет не все они должны индексироваться поисковыми системами. Есть файлы, которые должны быть скрыты и один из специальных и ВАЖНЫХ помощников в этом файл robots.txt

Что говорят об этом на официальном сайте?

 Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Уже готовый файл для загрузки, сделанный Анфисой, вы можете скачать  ЗДЕСЬ:

Получить и скачать Файл

А КАК его закачать смотрите в Видео ниже:

YouTube Трейлер

 

Для чего нужен файл robots.txt и как его загрузить на сайт

   2 голоса
Средняя оценка: 3 из 5
Буду вам признательна, если вы скажете "Благодарю"- нажмете на кнопки социальных сетей и поделитесь информацией с вашими друзьями.
Оставьте свой комментарий:

на Блоге
в Фейсбук
в Фейсбук