Исключённые страницы в Я.вебмастер

Уважаемые Гуру, подскажите, совсем недавно обновил сайт который теперь работает на Modx Revo.
Сайт успешно проиндексировался и после проверки всей ситуации в Я.вебмастере обнаружил вот такую картинку


Из загруженных роботом 648-ми страниц 356 им исключены, именно страниц "/index.php?q=ссылка.html"
«Документ запрещен в файле robots.txt»
Disallow: /index.php
Это нормальная картина для Modx Revo или у меня какой-то косяк закрался?
Сразу скажу, что у меня:
1. В .htaccess RewriteRule ^(.*)$ index.php?q=$1 [L,QSA]
2. Прописан 301 редирект на без www.
3. И ещё использую скриптик на сайте для переадресации на ссылку со слешем в конце (сайт.ру/раздел/)
<?php
if ($modx->event->name == 'OnLoadWebDocument') {
	$uri = $_SERVER['REQUEST_URI'];
	if ($modx->resource->isfolder && substr($uri, -1) != '/' && !$_GET['page']) {
		$modx->sendRedirect($modx->makeUrl($modx->resource->id));
	}
}
И ещё: я поставил дополнение от Ильи Уткина "уведомлении об открытии 404 страницы на сайте" и получаю письма с сообщением о 404-й ошибки с дублированием в ссылках раздела, пример:
правильный адрес: сайт.ру/раздел/ссылка.html
с 404-й ошибкой: сайт.ру/раздел/раздел/ссылка.html

Может я с чем-то переборщил?
Илья
Илья
24 июня 2014, 18:26
modx.pro
1 664
0

Комментарии: 6

Сергей
Сергей
25 июня 2014, 01:06
+1
Ну с MODx в комплекте не идет robots.txt, проверьте свой и уберите строчку Disallow: /index.php.
    Илья
    Илья
    25 июня 2014, 10:17
    0
    Если я уберу строчку Disallow: /index.php то все эти ссылки попадут в индекс как битые. Сейчас Яндексу сообщено, что их нужно запретить индексировать.
    У Вас есть Я.вебмастер, посмотрите, как у вас ситуация в «исключённых страницах»?
    И ещё, как выглядит Ваш стандартный robots.txt?
    Спасибо!
      Николай
      Николай
      25 июня 2014, 10:23
      1
      +1 
      User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Host: пыщ.ru
Sitemap: http://пыщ.ru/sitemap.xml
      в ЯВ чисто.

      friendly_url у тебя как настроено и настроено ли?
        Илья
        Илья
        25 июня 2014, 14:07
        0
        Мой robots.txt один-в-один такой же
        Вот настройки дружественных урлов:
          Evgeny Epifanov
          Evgeny Epifanov
          25 июня 2014, 17:09
          0
          Не уверен насчет строгого режима ЧПУ. У меня на всей сайтах отключено.
          А вот насчет 404 ошибки такая же фигня. Тоже не могу понять почему так.
    Алексей Ерохин
    Алексей Ерохин
    25 июня 2014, 17:52
    0
    Это совершенно нормальная картина и со стороны modx и со стороны Яндекса.
    Скорее всего Ваш сайт был проиндексирован до включения ЧПУ.
    И, кстати, эти ссылки должны также открываться как и остальные согласно этому правилу RewriteRule ^(.*)$ index.php?q=$1 [L,QSA] (вы запрашиваете, например, host.com/cart.html, а апач вам отдает контент с host.com/index.php?q=cart.html — так устроен modx)
    Волноваться Вам надо будет, когда нормальные страницы с ЧПУ не будут попадать в индекс.
      Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
      6