Заметил не совсем адекватное поведение гугла при быстрой индексации. Сегодня хотел отправить на индексацию свой второй сайт. Скормил гуглу карту сайта. Для быстрой индексации одной из страниц нажал посмотреть как гугл бот http://prntscr.com/5mg2bo и добавил страницу категорий, на что в ответ получил частично выполнено. Открыл инфо вот что http://prntscr.com/5mfx9f Думал может траблы в новом сайте. Нет! Попробовал на старом сайте, который уже год как проиндексирован. Нажал как гугл бот и переиндексировал страницу в ответ тоже самое. Начал копать http://prntscr.com/5mfwgh раньше гугл на это не ругался. Теперь он ругается что закрыли доступ к скриптам и стилям. Раньше всегда писал готово, если были изменения на странице и переиндексировал ее черег гугл бот, а сейчас пишет частично выполнено. В роботе все закрывают Disallow: /catalog теперь оказывается гуглу это не нравится.
закрывает все подчиненные страницы. Нужно добавить соответствующее правило Allow. А лучше просто удалить эту строку.
ingenerks, зачем чтобы бот индексировал сss и js файлы - как раз эти файлы запрещены этой директивой. Посмотрите сохраненную копию в выдаче - страница идет без стилей, просто текст? У меня такое было на новом сайте, но со временем стили в кеш подгрузились и все стало ок с этим же правилом Disallow: /catalog.
И я о том же, говорю что это правильно Disallow: /catalog. просто спросил, может кто-то с таким сталкивался и нашел метод решения. Раньше просто такого не было, всегда было сообщение, что полностью выполнено. Будим просто наедятся, что на правильную индексацию это особо не влияете.
