robots, sitemap и мультиконтекстные сайты

Имеется несколько контекстов-языковых версий (/ru, /en и т.д.) и несколько отдельных сайтов в одной админке
Внедряю рекомендации по SEO, есть такой вопрос:

Файл robots.txt должен находиться в корне сайта. Но так как сайт разбит на контексты, могу положить только в корень контекста ( /ru/robots.txt ), что не соответсвует ТЗ и требованиям гугла.
Как вариант, можно выкрутиться размещением физического файла. Однако так получается два жирных минуса — этот файл будет единственным на ВСЕ контексты и поддомены и полные пути (например, указать карту сайта, а там требуется полный путь к ней вместе с доменом) там не пропишешь.

Как выйти из положения?
Evgeniy
Evgeniy
26 апреля 2019, 16:13
modx.pro
975
0

Комментарии: 3

Павел Романов
Павел Романов
26 апреля 2019, 18:07
+1
Если у Вас robots как ресурсы, заморозьте им URI.
      Павел
      Павел
      27 апреля 2019, 07:41
      +1
      Как вариант, для мультидоменного сайта положить файлы в корень с разными именами (например robots.txt и robots1.txt) и в каждом контексте прописывать правила для nginx или апача. Но у вас ни это, ни описанные выше предложения не прокатят: сайт один и пока вы не зайдёте в /ru или /en контекст не будет определён. Здесь можно только или прописывать robots для каждой папки в пределах одного файла или создавать разные доменные имена.
        Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
        3