[Помогите] Правильный robots.txt для opencart

Уважаемые форумчане!

Прошу помочь с вопросом о составлении файла robots.txt для opencart.
Вопрос в следующем, в интернете куча советов и готовых вариантов этого фала.
Пробовал разные. Результат получаю всегда один, яндекс не индексирует сайт. В яндексе вебмастере показывает, что проиндексирована только одна страница.
Выкладываю сюда текст фала, может кто подскажет, что здесь не так....
В яндекс вообще не попадаю а в гугле по поисковому запросу freeweek первый.
Заранее благодарен.


User-agent: *

Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host: freeweek.ru

 

Вот тут http://wmasteru.ru/threads/Настройки-оптимизации-фичи-статьи-для-opencart.2219/ совет по « robots.txt для OpenCart »

 

Дак такой в общем то и стоит, а яндекс индексировать не хотит....

 

мб сделать конкретно для яндекс бота, почитай http://help.yandex.ru/webmaster/?id=1108947

 

Да скорее всего. Буду разбираться... А нет готового решения для яндекс бота под opencart?

 

Примерно думаю так:

Код:

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Host: freeweek.ru

 

А для Гугла отдельно прописывать нужно, или эту запись мпросто подставить к тому что есть?

 

Скопировал свой роботс, яндекс и гугл индексируют нормально, более 1000 уников с поисковых идет.
Первая часть для всех поисковых систем в том числе и Гугла, вторая лично для Яши.

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Host: свой домен

 

Не google самый дружелюбный из ботов, он хавает почти все, так что можно оставлять и со *. На всякий вот мой robots.txt:

Код:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: свой хост
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Host: свой хост

 

А для индексации фото для yandex надо что указывать, а то только страницы проиндексировал а фото ни как не хочет, я и title и описание прописал.

 

С индексированием картинок в Яндексе, проблем может быть несколько. 1. Картинки на странице выводятся js-скриптом. 2. Изображения подключаются через css как background(-image, etc.). 3. Не заполнен тег alt. 4. Ну и в robot.txt запрещена индексация папки /image. Если со всем этим проблем нет - возможно стоит подождать еще, обычно каринки индексируются позже, иногда сильно.

 

Вот так мой выглядит. Хотела только спросить, а нужно два раза карту сайта указывать или можно только в User-agent: * ?

Код:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*#category_id=*
Sitemap:  http://сайт/index.php?route=feed/google_sitemap

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*#category_id=*

Clean-param: tracking

Sitemap:  http://сайт/index.php?route=feed/google_sitemap

Host: хост

 

Вообще можно в роботс только User-agent для всех ПС написать.
Зачем Яндексу свой, который не имеет ничего особо отличного? Из уважения? )
У меня только User-agent и на Яндекс не жалуюсь. А вот когда его часть была - он меня почти месяц продержал всего с одной страничкой в индексе. Но это совпадение, думаю.

 

+1
читаем тут: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

 

А зачем закрывать /search.html?filter_tag=
Страницы та считаются уникальными

 

Вроде как они дублями считаются и в индексацию всё равно не попадут.

 

хороший ресурс как составить robots.tx

 

Googlebot не может получить доступ к файлам CSS и JS на сайте.
То есть нужно убрать запрет из robots.txt на /catalog

 

Будет ли тогда правильно так:

Код:

Disallow: /catalog
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

?
То есть, на каталог запрет, кроме этих файлов.
Dotrox, хотелось бы посмотреть ваш оптимальный набор robots.txt