Указанный URL запрещён к индексированию robots.txt

Создал robots.txt и сохранил его:

User-agent: *

Host: www.сайт.swtest.ru
Sitemap:http://сайт.temp.swtest.ru/sitemap.xml

Но проверка файла показывает что сайт запрещен к индексированию

Яндекс не видит этот файл а вместо него в сайт.temp.swtest.ru/robots.txt выдаёт:

User-agent: *
Disallow: /

И выдаётся ошибка: Данный URL запрещён к индексированию в файле robots.txt
михаил
25 июля 2016, 03:08
modx.pro
4 557
0

Комментарии: 10

Иван Тюмеров
25 июля 2016, 09:41
0
А почему у Вас в адресе часть на русском, часть на английском?
Или это типа как пример?
Тогда лучше дайте реальную ссылку, а то тут у Вас ничего не открывается.
    михаил
    25 июля 2016, 10:59
    0
    mihaildob5.temp.swtest.ru/

    Вот ссылка, но сайт пробный.
      Иван Тюмеров
      25 июля 2016, 11:04
      0
      Так если зайти по ссылке mihaildob5.temp.swtest.ru/robots.txt то как раз отдается
      User-agent: *
      Disallow: /

      Посмотрите ещё раз файл robots.txt в корне сайта.
        михаил
        25 июля 2016, 14:12
        0
        файл находится /public_html/robots.txt

        User-agent: *

        Disallow: /assets/cache/
        Disallow: /assets/docs/
        Disallow: /assets/export/
        Disallow: /assets/import/
        Disallow: /assets/modules/
        Disallow: /assets/plugins/
        Disallow: /assets/snippets/
        Disallow: /install/
        Disallow: /manager/

        Host: mihaildob5.temp.swtest.ru/
        Sitemap: mihaildob5.temp.swtest.ru/sitemap.xml

        Всё равно не видит его =(
          Иван Тюмеров
          25 июля 2016, 14:53
          0
          Тогда проверьте привязку вашего сайта к директории в панели управления хостинга.
          Скорее всего у вас там путанница
            михаил
            26 июля 2016, 00:53
            0
            может в htaccess косяк:

            # MODX supports Friendly URLs via this .htaccess file. You must serve web
            # pages via Apache with mod_rewrite to use this functionality, and you must
            # change the file name from ht.access to .htaccess.
            #
            # Make sure RewriteBase points to the directory where you installed MODX.
            # E.g., "/modx" if your installation is in a «modx» subdirectory.
            #
            # You may choose to make your URLs non-case-sensitive by adding a NC directive
            # to your rule: RewriteRule ^(.*)$ index.php?q=$1 [L,QSA,NC]

            RewriteEngine On
            RewriteBase /

            # Rewrite www.domain.com -> domain.com — used with SEO Strict URLs plugin
            RewriteCond %{HTTP_HOST}.
            RewriteCond %{HTTP_HOST} !^mihaildob5.temp.swtest\.ru [NC]
            RewriteRule (.*) mihaildob5.temp.swtest.ru/$1 [R=301,L]
            #
            # or for the opposite domain.com -> www.domain.com use the following
            # DO NOT USE BOTH
            #
            #RewriteCond %{HTTP_HOST}.
            #RewriteCond %{HTTP_HOST} !^www\.mihaildob5.temp.swtest.ru [NC]
            #RewriteRule (.*) www.mihaildob5.temp.swtest.ru/$1 [R=301,L]

            # Rewrite secure requests properly to prevent SSL cert warnings, e.g. prevent
            # www.domain.com when your cert only allows secure.domain.com
            #RewriteCond %{SERVER_PORT} !^443
            #RewriteRule (.*) mihaildob5.temp.swtest.ru/$1 [R=301,L]

            # The Friendly URLs part
            RewriteCond %{REQUEST_FILENAME} !-f
            RewriteCond %{REQUEST_FILENAME} !-d
            RewriteRule ^(.*)$ index.php?q=$1 [L,QSA]

            # Make sure .htc files are served with the proper MIME type, which is critical
            # for XP SP2. Un-comment if your host allows htaccess MIME type overrides.

            #AddType text/x-component .htc

            # If your server is not already configured as such, the following directive
            # should be uncommented in order to set PHP's register_globals option to OFF.
            # This closes a major security hole that is abused by most XSS (cross-site
            # scripting) attacks. For more information: php.net/register_globals
            #
            # To verify that this option has been set to OFF, open the Manager and choose
            # Reports -> System Info and then click the phpinfo() link. Do a Find on Page
            # for «register_globals». The Local Value should be OFF. If the Master Value
            # is OFF then you do not need this directive here.
            #
            # IF REGISTER_GLOBALS DIRECTIVE CAUSES 500 INTERNAL SERVER ERRORS:
            #
            # Your server does not allow PHP directives to be set via .htaccess. In that
            # case you must make this change in your php.ini file instead. If you are
            # using a commercial web host, contact the administrators for assistance in
            # doing this. Not all servers allow local php.ini files, and they should
            # include all PHP configurations (not just this one), or you will effectively
            # reset everything to PHP defaults. Consult www.php.net for more detailed
            # information about setting PHP directives.

            #php_flag register_globals Off

            # For servers that support output compression, you should pick up a bit of
            # speed by un-commenting the following lines.

            #php_flag zlib.output_compression On
            #php_value zlib.output_compression_level 5

            # The following directives stop screen flicker in IE on CSS rollovers. If
            # needed, un-comment the following rules. When they're in place, you may have
            # to do a force-refresh in order to see changes in your designs.

            #ExpiresActive On
            #ExpiresByType image/gif A2592000
            #ExpiresByType image/jpeg A2592000
            #ExpiresByType image/png A2592000
            #BrowserMatch «MSIE» brokenvary=1
            #BrowserMatch «Mozilla/4.[0-9]{2}» brokenvary=1
            #BrowserMatch «Opera» !brokenvary
            #SetEnvIf brokenvary 1 force-no-vary
              Иван Тюмеров
              26 июля 2016, 15:53
              0
              Можете дать доступ в панель управления? Напишите через профиль
    михаил
    25 июля 2016, 10:58
    0
    ^^
      Сергей Водолагин
      25 июля 2016, 15:54
      0
      Добрый день! У Вас открывается robots с другими параметрами
      mihaildob5.temp.swtest.ru/robots.txt
      User-agent: *
      Disallow: /

      Вам нужно положить в корень данного сайта!
      Непонятно, зачем Вам тестовый сайт открывать для индексации?
        михаил
        26 июля 2016, 01:16
        0
        Да всё и так лежит в public_html.
        Индексация просто для проверки robots.txt, я хз почему он его не видит.
        Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
        10