Установка robots.txt
Установив, robots.txt – файл, который служит для поисковых роботов и показывает им, какие файлы, папки, разделы сайта необходимо индексировать, а какие нет. Закрытые от индексации в robots.txt статьи не будут в индексе поисковых систем.
Необходимо скрыть от индексирования все ненужные файлы и папки (программную часть движка и прочее), а индексировал только нужные и важные файлы.
Для поддоменов на сайте, формируется отдельный robots.txt.
Для загрузки robots.txt вам нужна ссылка по которой можете скачать к себе на
рабочий стол или в другое место на компьютере Cкачать robots.txt жмем правой кнопкой мыши по ссылке и в контекстном меню
нажимаем Сохранить ссылку как…
После скачивания заходим в Панель управления хостингом у меня sprinthost.ru и жмем на кнопку Файловый менеджер (при подведении курсора меняется цвет на зеленый)
далее нажимаем на domains откроется
Название вашего сайта на который жмем левой кнопкой мыши
в свою очередь появляется public_html на которую также жмем левой кнопкой мыши
открывается папка public_html куда мы загружаем скачанный файл robots.txt нажав, на
иконку Загрузить файл
появляется окно Файл успешно загружен жмем ОК.
После чего находим файл robots.txt и нажимаем открывается содержимое папки где
все, далее жмем Сохранить и закрыть.