Подскажите по robots.txt

Всем привет!
Для сайта создал ресурс robots.txt — «Тип содержимого text», шаблон пустой, псевдоним «robots».
Если пройти по ссылке sitename.com/robots.txt, ото отображается содержимое документа.

НО! этот документ попал в индекс Google! (я его вижу)

Как правильно в MODX работать с robots.txt? Создавать отдельный файл не хочется!
Спасибо!
Илья Добрин
Илья Добрин
24 июня 2016, 11:25
modx.pro
1 737
0

Комментарии: 4

Наумов Алексей
Наумов Алексей
24 июня 2016, 14:28
0
Ну попал и попал, значит гугл так хочет, главное — что работает.
    Crim
    Crim
    24 июня 2016, 14:37
    2
    +1
    Открой к примеру сервис __http://mainspy.ru/otvet_servera__
    и вбей туда site.ru/robots.txt
    и проверь заголовоки
    Content-Type: text/plain; charset=utf-8
    Должно быть text/plain;
      Илья Добрин
      Илья Добрин
      24 июня 2016, 14:45
      0
      Да
      Content-Type: text/plain; charset=UTF-8
      Я попрошу Google удалить этот URL, если удастся.

      Всем спасибо!
        Constantine
        Constantine
        24 июня 2016, 20:36
        +1
        скорее всего созданный документ robots.txt генерируется в карте сайта
          Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
          4