[Помогите] Правильный robots.txt для opencart

Тема в разделе "OpenCart", создана пользователем kuklev, 25 мар 2013.

  1. kuklev

    kuklev

    Регистрация:
    31 дек 2012
    Сообщения:
    147
    Симпатии:
    2
    Уважаемые форумчане!

    Прошу помочь с вопросом о составлении файла robots.txt для opencart.
    Вопрос в следующем, в интернете куча советов и готовых вариантов этого фала.
    Пробовал разные. Результат получаю всегда один, яндекс не индексирует сайт. В яндексе вебмастере показывает, что проиндексирована только одна страница.
    Выкладываю сюда текст фала, может кто подскажет, что здесь не так....
    В яндекс вообще не попадаю а в гугле по поисковому запросу freeweek первый.
    Заранее благодарен.


    User-agent: *

    Disallow: /admin
    Disallow: /cache
    Disallow: /niks
    Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword
    Host: freeweek.ru
     
  2. and1

    and1

    Регистрация:
    1 фев 2013
    Сообщения:
    26
    Симпатии:
    50
  3. kuklev

    kuklev

    Регистрация:
    31 дек 2012
    Сообщения:
    147
    Симпатии:
    2
    Дак такой в общем то и стоит, а яндекс индексировать не хотит....
     
  4. and1

    and1

    Регистрация:
    1 фев 2013
    Сообщения:
    26
    Симпатии:
    50
    мб сделать конкретно для яндекс бота, почитай http://help.yandex.ru/webmaster/?id=1108947
     
    kuklev нравится это.
  5. kuklev

    kuklev

    Регистрация:
    31 дек 2012
    Сообщения:
    147
    Симпатии:
    2
    Да скорее всего. Буду разбираться... А нет готового решения для яндекс бота под opencart?
     
  6. and1

    and1

    Регистрация:
    1 фев 2013
    Сообщения:
    26
    Симпатии:
    50
    Примерно думаю так:
    Код:
    User-agent: Yandex
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Clean-param: tracking
    Host: freeweek.ru
    
     
    kuklev нравится это.
  7. kuklev

    kuklev

    Регистрация:
    31 дек 2012
    Сообщения:
    147
    Симпатии:
    2
    А для Гугла отдельно прописывать нужно, или эту запись мпросто подставить к тому что есть?
     
  8. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    113
    Симпатии:
    18
    Скопировал свой роботс, яндекс и гугл индексируют нормально, более 1000 уников с поисковых идет.
    Первая часть для всех поисковых систем в том числе и Гугла, вторая лично для Яши.

    User-agent: *
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?page=
    Disallow: /*&page=
    Disallow: /wishlist
    Disallow: /login
    Disallow: /index.php?route=product/manufacturer
    Disallow: /index.php?route=product/compare
    Disallow: /index.php?route=product/category


    User-agent: Yandex
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*route=product/search
    Disallow: /*?page=
    Disallow: /*&page=
    Clean-param: tracking
    Clean-param: filter_name
    Clean-param: filter_sub_category
    Clean-param: filter_description
    Disallow: /wishlist
    Disallow: /login
    Disallow: /index.php?route=product/manufacturer
    Disallow: /index.php?route=product/compare
    Disallow: /index.php?route=product/category

    Host: свой домен
     
    kuklev нравится это.
  9. and1

    and1

    Регистрация:
    1 фев 2013
    Сообщения:
    26
    Симпатии:
    50
    Не google самый дружелюбный из ботов, он хавает почти все, так что можно оставлять и со *. На всякий вот мой robots.txt:
    Код:
    User-agent: *
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Host: свой хост
     
    User-agent: Yandex
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Clean-param: tracking
    Host: свой хост
     
  10. dujy

    dujy

    Регистрация:
    3 фев 2013
    Сообщения:
    17
    Симпатии:
    0
    А для индексации фото для yandex надо что указывать, а то только страницы проиндексировал а фото ни как не хочет, я и title и описание прописал.
     
  11. beak

    beak

    Регистрация:
    22 янв 2013
    Сообщения:
    161
    Симпатии:
    43
    С индексированием картинок в Яндексе, проблем может быть несколько. 1. Картинки на странице выводятся js-скриптом. 2. Изображения подключаются через css как background(-image, etc.). 3. Не заполнен тег alt. 4. Ну и в robot.txt запрещена индексация папки /image. Если со всем этим проблем нет - возможно стоит подождать еще, обычно каринки индексируются позже, иногда сильно.
     
    xa3r0 нравится это.
  12. jan

    jan

    Регистрация:
    9 окт 2013
    Сообщения:
    1
    Симпатии:
    0
    Вот так мой выглядит. Хотела только спросить, а нужно два раза карту сайта указывать или можно только в User-agent: * ?

    Код:
    User-agent: *
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*#category_id=*
    Sitemap:  http://сайт/index.php?route=feed/google_sitemap
    
    User-agent: Yandex
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*#category_id=*
    
    Clean-param: tracking
    
    Sitemap:  http://сайт/index.php?route=feed/google_sitemap
    
    Host: хост
    
     
  13. Дмитрич

    Дмитрич

    Регистрация:
    10 апр 2014
    Сообщения:
    182
    Симпатии:
    23
    Вообще можно в роботс только User-agent для всех ПС написать.
    Зачем Яндексу свой, который не имеет ничего особо отличного? Из уважения? )
    У меня только User-agent и на Яндекс не жалуюсь. А вот когда его часть была - он меня почти месяц продержал всего с одной страничкой в индексе. Но это совпадение, думаю.
     
  14. zamalatb

    zamalatb

    Регистрация:
    29 апр 2014
    Сообщения:
    113
    Симпатии:
    31
    +1
    читаем тут: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
     
  15. Ваган

    Ваган

    Регистрация:
    8 ноя 2013
    Сообщения:
    31
    Симпатии:
    1
    А зачем закрывать /search.html?filter_tag=
    Страницы та считаются уникальными
     
  16. ostrun

    ostrun

    Регистрация:
    7 ноя 2012
    Сообщения:
    140
    Симпатии:
    37
    Вроде как они дублями считаются и в индексацию всё равно не попадут.
     
  17. panasys

    panasys

    Регистрация:
    14 май 2013
    Сообщения:
    83
    Симпатии:
    32
  18. Ваган

    Ваган

    Регистрация:
    8 ноя 2013
    Сообщения:
    31
    Симпатии:
    1
    Googlebot не может получить доступ к файлам CSS и JS на сайте.
    То есть нужно убрать запрет из robots.txt на /catalog
     
  19. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.053
    Симпатии:
    779
    Это неправильно! Открывать нужно доступ к файлам стилей, скриптов и изображениям, а не ко всей директории:
    Код:
    Allow: /catalog/*.css
    Allow: /catalog/*.js
    Allow: /catalog/*.png
    Allow: /catalog/*.gif
    
     
    burt и Ваган нравится это.
  20. Vivec

    Vivec

    Регистрация:
    24 ноя 2014
    Сообщения:
    105
    Симпатии:
    15
    Будет ли тогда правильно так:
    Код:
    Disallow: /catalog
    Allow: /catalog/*.css
    Allow: /catalog/*.js
    Allow: /catalog/*.png
    Allow: /catalog/*.gif
    ?
    То есть, на каталог запрет, кроме этих файлов.
    Dotrox, хотелось бы посмотреть ваш оптимальный набор robots.txt
     
    Последнее редактирование: 16 окт 2015