[Помогите] Правильный robots.txt для opencart

Да, всё правильно.

Я не гарантирую его оптимальность, но использую такой:

Тут есть много из оригинального роботса, что ввиду наличия директивы Disallow: /*index.php* теряет смысл (директива уже охватывает и эти случаи), но у меня всё не доходят руки почистить. И, конечно же, этот роботс пригоден только для сайта с ЧПУ, иначе вышеупомянутая директива закроет от индексации весь сайт.

 

Это для всех.
В большинстве случаев нет необходимости прописывать директивы отдельно для конкретного поисковика и звёздочка указывает на то, что это общие директивы для всех поисковиков (минус те, для которых прописаны отдельные).
Исторически сложилось, что для Яндекса был отдельный блок, но сейчас он остаётся в роботсах просто по привычке, Яндекс уже полностью поддерживает общие стандарты формирования роботса.

 

Добавьте в директивы с download слеш в конце:

Код:

Disallow: /download/

 

Это было очевидно, иначе в сайтмапе неоткуда было взяться такой ссылке, директория с файлами для скачивания в сайтмап не попадает.

Первоначальный вариант блокирует любую ссылку, название которой начинается с download, а этот вариант блокирует только директорию с таким названием, на что указывает слеш в конце.

 

Вот это бессмысленно:

Код:

Disallow: /*index.php
Disallow: /*index.php?
Disallow: /index.php?*

Достаточно написать просто:

Код:

Disallow: /*index.php*

И это покроет все возможные варианты.

А ещё у вас не хватает перевода строки перед директивой разрешающей индексацию стилей.

 

Вот:

Код:

Disallow: /contact-us/Allow: /catalog/*.css

 

Если вы хотите, чтоб он индексировал оригинальные (не масштабированные) изображения товаров, то да.

 

Тогда открывать нужно не catalog, а cache.

 

Можно и так, но лучше всё же

Код:

Allow: /image/cache/*.jpg

Про Яндекс ничего не скажу, но для Гугла этого достаточно.

 

corsaro, странный роботс.

Вот это:

Код:

Disallow: /*index.php
Disallow: /*index.php?
Disallow: /index.php?*

Можно заменить на это:

Код:

Disallow: /*index.php*

И я об этом вам уже говорил выше.

Вот это:

Код:

Allow: /index.php?route=feed/google_sitemap

Вообще не надо. У васпрописан адрес сайтмапа - http://she-market.by/sitemap.xml и эта ссылка не закрыта, больше никаких манипуляций для сайтмапа не надо.

А смысл этого блока вообще не понятен:

Код:

Disallow: /about_us/
Disallow: /affiliate*
Disallow: /vouchers/
Disallow: /about_us/
Disallow: /zakaz/
Disallow: /contact-us/

Во-первых, у авс там дважды /about_us/. А во-вторых, первый раз вижу, чтоб от индексации закрывали страницу контактов или информации о магазине.

Это не одно и тоже.
Количество в индексе может не менять потому, что на сайте количество не меняется, либо потому, что количество добавленных в индекс равно количеству удалённых оттуда.

Плюс надо не забывать, что Яндекс индексирует очень медленно и делать какие-то выводы можно не раньше, чем через три месяца!