Непонятное поведение гугла при индексации сайта.

Тема в разделе "OpenCart", создана пользователем ingenerks, 30 дек 2014.

  1. ingenerks

    ingenerks

    Регистрация:
    25 окт 2012
    Сообщения:
    254
    Симпатии:
    79
    Заметил не совсем адекватное поведение гугла при быстрой индексации.

    Сегодня хотел отправить на индексацию свой второй сайт. Скормил гуглу карту сайта. Для быстрой индексации одной из страниц нажал посмотреть как гугл бот http://prntscr.com/5mg2bo и добавил страницу категорий, на что в ответ получил частично выполнено. Открыл инфо вот что http://prntscr.com/5mfx9f Думал может траблы в новом сайте. Нет! Попробовал на старом сайте, который уже год как проиндексирован. Нажал как гугл бот и переиндексировал страницу в ответ тоже самое. Начал копать http://prntscr.com/5mfwgh раньше гугл на это не ругался. Теперь он ругается что закрыли доступ к скриптам и стилям. Раньше всегда писал готово, если были изменения на странице и переиндексировал ее черег гугл бот, а сейчас пишет частично выполнено. В роботе все закрывают Disallow: /catalog теперь оказывается гуглу это не нравится.
     
  2. Vlad-i-Slav

    Vlad-i-Slav

    Регистрация:
    20 мар 2013
    Сообщения:
    251
    Симпатии:
    159
    закрывает все подчиненные страницы. Нужно добавить соответствующее правило Allow. А лучше просто удалить эту строку.
     
  3. ingenerks

    ingenerks

    Регистрация:
    25 окт 2012
    Сообщения:
    254
    Симпатии:
    79
    Да это понятно но раньше он не ругался, да и все его закрывают Disallow: /catalog
     
  4. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.155
    Симпатии:
    514
    ingenerks, зачем чтобы бот индексировал сss и js файлы - как раз эти файлы запрещены этой директивой.
    Посмотрите сохраненную копию в выдаче - страница идет без стилей, просто текст?
    У меня такое было на новом сайте, но со временем стили в кеш подгрузились и все стало ок с этим же правилом Disallow: /catalog.
     
  5. ingenerks

    ingenerks

    Регистрация:
    25 окт 2012
    Сообщения:
    254
    Симпатии:
    79
    И я о том же, говорю что это правильно
    Disallow: /catalog.
    просто спросил, может кто-то с таким сталкивался и нашел метод решения. Раньше просто такого не было, всегда было сообщение, что полностью выполнено. Будим просто наедятся, что на правильную индексацию это особо не влияете.