[Помогите] Разрешить индексацию отдельных страниц в robots.txt

Тема в разделе "OpenCart", создана пользователем alter, 3 апр 2016.

  1. alter

    alter

    Регистрация:
    24 мар 2014
    Сообщения:
    48
    Симпатии:
    8
    Как запретить индексацию всего сайта и разрешить индексацию страниц в robots.txt, содеражащих слово "красный" в следующем примере?
    site.ru/автомобиль/ауди-универсал-красный.html
    site.ru/автомобиль/ауди-универсал-зеленый.html
    site.ru/автомобиль/ауди-седан-красный.html
    site.ru/велосипед/двухколесный/зубренок-красный.html
    site.ru/велосипед/зубренок-синий.html

    Я сделал так:
    User-agent: * (и такое же для яндекс)
    Allow: /$
    Allow: /*красный.html
    Disallow: /

    Но не помогло, яндекс и гугл при проверке показывают запрет нужных страниц.
    И даже пробовал так:
    User-agent: *
    Allow: /ауди-универсал-красный.html
    Allow: /ауди-седан-красный.html
    Allow: /зубренок-красный.html
    Disallow: /
    но и так не помогло.
     
  2. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Ну, прежде всего, в robots.txt не может быть кириллицы.
    Вот здесь у Яндекса описано, как такие ссылки должны выглядеть:


    А сами директивы должны выглядеть так:
    Код:
    Allow: /*красный*
    Disallow: /
    Только "красный" должен быть соответствующе закодирован (смотрите ссылку выше).
     
    alter нравится это.
  3. alter

    alter

    Регистрация:
    24 мар 2014
    Сообщения:
    48
    Симпатии:
    8
    Ссылки у меня на литинце, просто в примере для простоты написал кириллицей.
    Ваш вариант с Allow: /*красный* сработал. Спасибо!
    Может подскажите, целесообразно ли поступать таким образом как я сделал: Заполнил интернет-магазин товарами со спарсенными описаниями и фото. Дале по мере написания оригинальных статей, открывать так по очереди товары. Пишу редко, так что основной контент сайта долго будет закрыт для роботов. Не вылезет ли мне это боком? Сделал так, что бы меня поисковики не воспринимали обычным плагиатором.
    Или же лучше всё открыть, и постепенно менять тексты на оригинальные?
     
  4. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Я не вижу в этом смысла.
    Для поисковиков важен прежде всего H1, а описания может и не быть вообще.
    Если же описание нужно для покупателей, то лучше просто позаполнять атрибуты. Я не знаю, какой у вас товар, но в большинстве случаев покупателей интересует краткий список характеристик, а не водянистые тексты, тем более, что не редко, они пишутся в первую очередь для поисковиков и даже, если написаны качественно, несут мало полезной информации (а встречаются и такие, которые читать вообще невозможно).
     
    samuel_L нравится это.
  5. alter

    alter

    Регистрация:
    24 мар 2014
    Сообщения:
    48
    Симпатии:
    8
    Dotrox, у меня детские товары. Дело в том, что я один магазин заполнил товарами со спарсенным текстом и фото. Сразу яндекс и гугл лихо их проиндексировали и всё было неплохо. Но потом начали выкидывать их из индекса. У моего приятеля есть такой же магазин, но он все статьи писал самостоятельно и соответственно все товары со временем оказались на очень хороших позициях в выдаче.
    Поэтому я и решил во втором магазине попробовать пойти таким же путём. Но терзают сомнения, что поисковикам очень может не понравится почти полностью закрытый сайт.
     
  6. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    alter, я всё равно не понимаю смысл наличия сейчас спасренных текстов. Просто удалите их все, откройте весь магазин для индексации и пишите тексты самостоятельно, если хотите использовать их для продвижения.
    Страница без описания товара, но в индексе лучше, чем страница со спарсенным описанием, закрытая от индексации. А для попадания в основной индекс достаточно нормальных заголовков на странице.
     
    samuel_L и alter нравится это.
  7. alter

    alter

    Регистрация:
    24 мар 2014
    Сообщения:
    48
    Симпатии:
    8
    Dotrox, спасибо за информацию, я этого не знал. Спарсенные тексты оставил из тех соображений, что планирую на них настроить рекламу яндекс.директ, при этом держа закрытыми от индекса, что бы поисковик не воспринимал меня как плагиатора. И потихоньку их открывать с оригинальными текстами привлекая с органического поиска. Но думаю, что бесполезно создавать рекламу на страницу без текста.
     
  8. samuel_L

    samuel_L

    Регистрация:
    6 окт 2012
    Сообщения:
    221
    Симпатии:
    132
    Dotrox правильно говорит. Уникальный h1 + title оставить, описания и воду скопипастенную убрать, за фото не переживайте, если есть типовые характеристики (детям до 3 лет, пр-во китай, цвет синий) то также оставьте.
    И открывайте для индексации. С ума тоже сходить не нужно с поисковиками, они понимают, что нельзя найти миллион разных магазинных фото для одной модели , к примеру, iphone
    Я бы на вашем месте больше внимания уделил продвижению разделов + максимально востребованных в поиске товаров. И будет вам трафик
     
    alter нравится это.
  9. alter

    alter

    Регистрация:
    24 мар 2014
    Сообщения:
    48
    Симпатии:
    8
    Подскажите ещё, как быть с карточками товара, относящимися к одной модели товара, но другой расцветки. В данный момент у меня реализовано, что каждый цвет - это отдельная карточка товара. И что бы не ругаться с поисковиками по поводу множества дублей на их взляд, т.к. title, h1 и описания будут отличаться только наличием другого цвета, я решил сделать по одной карточке каждой модели товара с разрешением их индексировать в robots.txt, а все остальные вариации запретить. Как считаете, такой способ имеет право на жизнь или есть более рациональные подходы? (от опций отказался из-за неудобства обновления цен и остатков)
     
  10. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Я думаю, как минимум можно использовать rel="canonical", чтоб указать какую страницу считать основной. А вообще, тут ещё может пригодится микроразметка. Вообще, надо смотреть доки Гугла, там должны быть рекомендации на этот счёт.
     
  11. samuel_L

    samuel_L

    Регистрация:
    6 окт 2012
    Сообщения:
    221
    Симпатии:
    132
    Посмотрите как у других реализовано
    Код:
    view-source:http://www.svyaznoy.ru/catalog/phone/224/1716067
    например, у связного через canonical.
    Но могу точно сказать, что в своем регионе мы на практике обошли и связной, и эльдорадо, и мвидео не ставя каноникал на айфоны.
    Бывают различия в цене + уникальный H1 + Title + Мета-теги + перелинковка + урлы. И каждый цвет у нас в топе по запросу.

    Не совсем понимаю смысла закрывать страницы в роботсе и при этом бояться их склейки) Ну склеит и склеит, все равно что вы в роботсе закроете страницы. А если не склеит только + вам. Вы заранее себя ограничиваете. Дайте шанс поисковику

    Возможно, здесь зависит и от запросов. Если ваши товары в цветах не ищут запросами, то и нет смысла переживать. Если ищут - зачем яндексу их клеить?

    Если переживаете за наличие описания на страницах для повышения конверсии, то поставьте спарсенное в noindex
     
    Lasted edited by : 27 апр 2016
    alter нравится это.
  12. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Это работает только для Яндекса.