Подскажите по robots.txt
Всем привет!
Для сайта создал ресурс robots.txt — «Тип содержимого text», шаблон пустой, псевдоним «robots».
Если пройти по ссылке sitename.com/robots.txt, ото отображается содержимое документа.
НО! этот документ попал в индекс Google! (я его вижу)
Как правильно в MODX работать с robots.txt? Создавать отдельный файл не хочется!
Спасибо!
Для сайта создал ресурс robots.txt — «Тип содержимого text», шаблон пустой, псевдоним «robots».
Если пройти по ссылке sitename.com/robots.txt, ото отображается содержимое документа.
НО! этот документ попал в индекс Google! (я его вижу)
Как правильно в MODX работать с robots.txt? Создавать отдельный файл не хочется!
Спасибо!
Комментарии: 4
Ну попал и попал, значит гугл так хочет, главное — что работает.
Открой к примеру сервис __http://mainspy.ru/otvet_servera__
и вбей туда site.ru/robots.txt
и проверь заголовоки
Content-Type: text/plain; charset=utf-8
Должно быть text/plain;
и вбей туда site.ru/robots.txt
и проверь заголовоки
Content-Type: text/plain; charset=utf-8
Должно быть text/plain;
Да
Всем спасибо!
Content-Type: text/plain; charset=UTF-8
Я попрошу Google удалить этот URL, если удастся.Всем спасибо!
скорее всего созданный документ robots.txt генерируется в карте сайта
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.