[Помогите] Правильный robots.txt для opencart

Тема в разделе "OpenCart", создана пользователем kuklev, 25 мар 2013.

  1. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    Да, всё правильно.

    Я не гарантирую его оптимальность, но использую такой:

    Тут есть много из оригинального роботса, что ввиду наличия директивы Disallow: /*index.php* теряет смысл (директива уже охватывает и эти случаи), но у меня всё не доходят руки почистить. И, конечно же, этот роботс пригоден только для сайта с ЧПУ, иначе вышеупомянутая директива закроет от индексации весь сайт.
     
    Vivec нравится это.
  2. Surprise888

    Surprise888

    Регистрация:
    9 окт 2015
    Сообщения:
    3
    Симпатии:
    0
    для гугла необязательно указывать User-agent:Googlebot ? можно просто User-agent: * ?
     
  3. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    Это для всех.
    В большинстве случаев нет необходимости прописывать директивы отдельно для конкретного поисковика и звёздочка указывает на то, что это общие директивы для всех поисковиков (минус те, для которых прописаны отдельные).
    Исторически сложилось, что для Яндекса был отдельный блок, но сейчас он остаётся в роботсах просто по привычке, Яндекс уже полностью поддерживает общие стандарты формирования роботса.
     
  4. aleka1alex

    aleka1alex

    Регистрация:
    15 фев 2015
    Сообщения:
    249
    Симпатии:
    26
  5. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
  6. aleka1alex

    aleka1alex

    Регистрация:
    15 фев 2015
    Сообщения:
    249
    Симпатии:
    26
    Спасибо за ответ, не могли бы немного пояснить что это значит?
    Кстати, я не сказала что у меня есть такая категория "Downloads" (хотя, вы наверное поняли...)
     
  7. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    Это было очевидно, иначе в сайтмапе неоткуда было взяться такой ссылке, директория с файлами для скачивания в сайтмап не попадает.

    Первоначальный вариант блокирует любую ссылку, название которой начинается с download, а этот вариант блокирует только директорию с таким названием, на что указывает слеш в конце.
     
    aleka1alex нравится это.
  8. corsaro

    corsaro

    Регистрация:
    8 мар 2015
    Сообщения:
    43
    Симпатии:
    0
    Очень интересно, а что означает:
    Clean-param: tracking
    --- Добавлено, 17 мар 2016 ---

    А вот мой роботик:
     
    Lasted edited by : 17 мар 2016
  9. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    Вот это бессмысленно:
    Код:
    Disallow: /*index.php
    Disallow: /*index.php?
    Disallow: /index.php?*
    Достаточно написать просто:
    Код:
    Disallow: /*index.php*
    И это покроет все возможные варианты.

    А ещё у вас не хватает перевода строки перед директивой разрешающей индексацию стилей.
     
  10. corsaro

    corsaro

    Регистрация:
    8 мар 2015
    Сообщения:
    43
    Симпатии:
    0
    С запертом - согласен, просто лепил робот сам :Smile:
    А вот с "А ещё у вас не хватает перевода строки перед директивой разрешающей индексацию стилей." не совсем понятно... Поясните пожалуйста, что именно не так?
     
  11. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    Вот:
    Код:
    Disallow: /contact-us/Allow: /catalog/*.css
     
  12. Yakata

    Yakata

    Регистрация:
    16 май 2016
    Сообщения:
    5
    Симпатии:
    0
    а чтобы яндекс индексировал картинки - надо вписать Allow: /image/catalog/*.jpg ?
     
  13. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    Если вы хотите, чтоб он индексировал оригинальные (не масштабированные) изображения товаров, то да.
     
  14. Yakata

    Yakata

    Регистрация:
    16 май 2016
    Сообщения:
    5
    Симпатии:
    0
    а если я хочу чтобы он индексировал изображения в которых опенкарт уже прописал алт и тайтл?
     
  15. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    Тогда открывать нужно не catalog, а cache.
     
  16. Yakata

    Yakata

    Регистрация:
    16 май 2016
    Сообщения:
    5
    Симпатии:
    0
    то есть вписываю строчку Allow: cache/*.jpg ?
    - это даст возможность индексироваться картинкам в, например яндекс-картинки? или как можно решить это?
     
  17. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    Можно и так, но лучше всё же
    Код:
    Allow: /image/cache/*.jpg
    Про Яндекс ничего не скажу, но для Гугла этого достаточно.
     
  18. corsaro

    corsaro

    Регистрация:
    8 мар 2015
    Сообщения:
    43
    Симпатии:
    0
    И вот я снова в теме.
    Нужна помощь.

    Чего то уже месяц яндекс перестал индексировать мой сайт, кол-во страниц в индексе на одном месте. Я думаю что то в роботсе намудрил.
    Если есть эксперт по роботсам гляньте плиз

     
  19. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    2.042
    Симпатии:
    774
    corsaro, странный роботс.

    Вот это:
    Код:
    Disallow: /*index.php
    Disallow: /*index.php?
    Disallow: /index.php?*
    Можно заменить на это:
    Код:
    Disallow: /*index.php*
    И я об этом вам уже говорил выше.

    Вот это:
    Код:
    Allow: /index.php?route=feed/google_sitemap
    Вообще не надо. У васпрописан адрес сайтмапа - http://she-market.by/sitemap.xml и эта ссылка не закрыта, больше никаких манипуляций для сайтмапа не надо.

    А смысл этого блока вообще не понятен:
    Код:
    Disallow: /about_us/
    Disallow: /affiliate*
    Disallow: /vouchers/
    Disallow: /about_us/
    Disallow: /zakaz/
    Disallow: /contact-us/
    Во-первых, у авс там дважды /about_us/. А во-вторых, первый раз вижу, чтоб от индексации закрывали страницу контактов или информации о магазине.


    Это не одно и тоже.
    Количество в индексе может не менять потому, что на сайте количество не меняется, либо потому, что количество добавленных в индекс равно количеству удалённых оттуда.

    Плюс надо не забывать, что Яндекс индексирует очень медленно и делать какие-то выводы можно не раньше, чем через три месяца!
     
  20. corsaro

    corsaro

    Регистрация:
    8 мар 2015
    Сообщения:
    43
    Симпатии:
    0
    Спасибо! Учел Ваши корректировки, и внес свои доработки. И вот что получилось :