[Помогите] правильный робот.тхт для оксторе 2.3

Тема в разделе "OpenCart", создана пользователем MGT1, 4 фев 2019.

  1. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    В стандарте стоит такой:

    Код:
    User-agent: *
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter=
    Disallow: /*&filter=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    
    User-agent: Yandex
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter=
    Disallow: /*&filter=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Clean-param: tracking
    
    Host: ****
    Sitemap: https:****
    --- Добавлено, 4 фев 2019 ---
    робот говорит:

    Роботу Googlebot заблокирован доступ в файле robots.txt
    Изображение
    /catalog/language/ru-ru/ru-ru.png
    /image/cache/catalog/plategy/icon-256x256-25x25.png

    ему туда доступ надо?
    --- Добавлено, 4 фев 2019 ---
    Страница частично загружена
    Не удалось загрузить все элементы страницы. Это может повлиять на то, как Google видит и обрабатывает вашу страницу. Устраните проблемы.

    и дальше выше инфа про заблокированый доступ
     
  2. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Надо.
    Ко всем стилям, скриптам и изображениям, которые используются в шаблоне. Гугл смотрит на сайт глазами браузера и без этого он будет видеть совсем не то.
     
  3. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    т.е. до каталога ему доступ оставлять?
    --- Добавлено, 4 фев 2019 ---
    или что-то такое:
    Allow: /catalog/view/javascript/
    Allow: /catalog/view/theme/ВАША_ТЕМА/image/
    Allow: /catalog/view/theme/ВАША_ТЕМА/stylesheet/
    --- Добавлено, 4 фев 2019 ---
    Allow: /catalog/view/javascript
    Allow: /catalog/view/image
    Allow: /catalog/view/stylesheet
    Allow: /catalog/view/*/javascript
    Allow: /catalog/view/*/image
    Allow: /catalog/view/*/stylesheet
    --- Добавлено, 4 фев 2019 ---
    или так:
    Allow: /catalog/view/javascript
    Allow: /catalog/view/image
    Allow: /catalog/view/stylesheet
    Allow: /catalog/view/*/javascript
    Allow: /catalog/view/*/image
    Allow: /catalog/view/*/stylesheet
    Allow: /image/*/
    --- Добавлено, 4 фев 2019 ---
    последнее вроде работает но:

    Ресурсы страницы

    38 ресурсов из 74 не удалось загрузить

    Другая ошибка
    Stylesheet
    /catalog/view/javascript/blog/colorbox/css/0/colorbox.css
    /catalog/view/javascript/bootstrap/js/bootstrap.min.js?ns2v=2.5.8
    /catalog/view/javascript/jquery/datetimepicker/bootstrap-datetimepicker.min.css?ns2v=2.5.8

    что оно теперь хочет?
     
    Последнее редактирование: 4 фев 2019
  4. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Слишком сложно.
    Этого достаточно для всего:
    Код:
    Allow: /catalog/*.css
    Allow: /catalog/*.js
    Allow: /catalog/*.png
    Allow: /catalog/*.gif
     
    MGT1 нравится это.
  5. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    от чего может быть другая ошибка?
     
  6. yura_co

    yura_co

    Регистрация:
    5 янв 2014
    Сообщения:
    77
    Симпатии:
    58
    как я понял ругается на шаблон, смотрите в логах сервера .может ругается на версию пхп
     
  7. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Это же Гугл ругается, а не сервер.
     
  8. chukcha

    chukcha

    Регистрация:
    9 окт 2014
    Сообщения:
    448
    Симпатии:
    119
    и что он там хочет видеть?

    и что он там хочет видеть?
    А с каких пор браузер интересуется роботсом

    И.. как рекомендации роботса к индексации могут повредить запретить чтение файла..

    Я думаю, что это "ошибка" Г

    Или Г в данном случае что-то не договаривает..
     
  9. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    https://support.google.com/webmasters/answer/6065809?hl=en
    Но при этом Гугл продолжает уважать роботс и не загружает то, что там запрещено, включая файлы стилей, скриптов и т.д.

    Я думал, это уже давно не новость.
     
  10. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    Хз что у них там, но ошибка гуглом выдает. Запрета индексации уже нету точно.
    Может инструмент ещё сырой у них может ещё что-то. Пока понять не могу. Так грузит все норм. Тестил на всех апаратах что в наличии.
     
  11. chukcha

    chukcha

    Регистрация:
    9 окт 2014
    Сообщения:
    448
    Симпатии:
    119
    та не новость, и давно, я просто спросил вашего мнения - ЗАЧЕМ индексировать скрипты и стили

    В принципе, я понимаю зачем, но не понимаю - ЗАЧЕМ!!!
     
  12. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    получается типа новая система индексации смотрит на страницу через браузер (особенно на мобильном), грузит страницу. И если в роботе запрет до каталога - оно страницу не выгружает. Так как было у меня. Но и выгрузка не помогла - остались ещё какие-то траблы, но пока гугл не знает как их разобрать)
     
  13. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Дело не в индексации. Гугл просто не лезет туда, куда его не просили. То есть, если файл закрыт в роботсе, то он его не читает.
    А индексация - это всё же добавление в поисковый индекс, а не просто чтение содержимого.

    Она уже давно не новая. В случае Гугла, он так работает уже минимум лет 5. А в последние годы и остальные подтягиваются туда же.
     
  14. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    Получается что с сайтом тогда что-то не так?
     
  15. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Как сейчас выглядит роботс?
     
  16. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
     
  17. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Попробуй все Allow поместить последними. Я всегда так делаю.
    Директивы обрабатываются последовательно и, хотя Гугл говорит, что применяет первую подходящую, возможно, у него какие-то специфические критерии подходящести.
     
  18. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    В общем к роботу у него претензий нет. Возможно "другая ошибка" просто от не срабатывания каких-то алгоритмов.
     
  19. chukcha

    chukcha

    Регистрация:
    9 окт 2014
    Сообщения:
    448
    Симпатии:
    119
    А где jpg
     
  20. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Нет смысла.
    jpg не используются в шаблонах, а директория с изображениями товаров и так не закрыта.