Как запретить индексацию всего сайта и разрешить индексацию страниц в robots.txt, содеражащих слово "красный" в следующем примере? site.ru/автомобиль/ауди-универсал-красный.html site.ru/автомобиль/ауди-универсал-зеленый.html site.ru/автомобиль/ауди-седан-красный.html site.ru/велосипед/двухколесный/зубренок-красный.html site.ru/велосипед/зубренок-синий.html Я сделал так: User-agent: * (и такое же для яндекс) Allow: /$ Allow: /*красный.html Disallow: / Но не помогло, яндекс и гугл при проверке показывают запрет нужных страниц. И даже пробовал так: User-agent: * Allow: /ауди-универсал-красный.html Allow: /ауди-седан-красный.html Allow: /зубренок-красный.html Disallow: / но и так не помогло.
Ну, прежде всего, в robots.txt не может быть кириллицы. Вот здесь у Яндекса описано, как такие ссылки должны выглядеть: А сами директивы должны выглядеть так: Код: Allow: /*красный* Disallow: / Только "красный" должен быть соответствующе закодирован (смотрите ссылку выше).
Ссылки у меня на литинце, просто в примере для простоты написал кириллицей. Ваш вариант с Allow: /*красный* сработал. Спасибо! Может подскажите, целесообразно ли поступать таким образом как я сделал: Заполнил интернет-магазин товарами со спарсенными описаниями и фото. Дале по мере написания оригинальных статей, открывать так по очереди товары. Пишу редко, так что основной контент сайта долго будет закрыт для роботов. Не вылезет ли мне это боком? Сделал так, что бы меня поисковики не воспринимали обычным плагиатором. Или же лучше всё открыть, и постепенно менять тексты на оригинальные?
Я не вижу в этом смысла. Для поисковиков важен прежде всего H1, а описания может и не быть вообще. Если же описание нужно для покупателей, то лучше просто позаполнять атрибуты. Я не знаю, какой у вас товар, но в большинстве случаев покупателей интересует краткий список характеристик, а не водянистые тексты, тем более, что не редко, они пишутся в первую очередь для поисковиков и даже, если написаны качественно, несут мало полезной информации (а встречаются и такие, которые читать вообще невозможно).
Dotrox, у меня детские товары. Дело в том, что я один магазин заполнил товарами со спарсенным текстом и фото. Сразу яндекс и гугл лихо их проиндексировали и всё было неплохо. Но потом начали выкидывать их из индекса. У моего приятеля есть такой же магазин, но он все статьи писал самостоятельно и соответственно все товары со временем оказались на очень хороших позициях в выдаче. Поэтому я и решил во втором магазине попробовать пойти таким же путём. Но терзают сомнения, что поисковикам очень может не понравится почти полностью закрытый сайт.
alter, я всё равно не понимаю смысл наличия сейчас спасренных текстов. Просто удалите их все, откройте весь магазин для индексации и пишите тексты самостоятельно, если хотите использовать их для продвижения. Страница без описания товара, но в индексе лучше, чем страница со спарсенным описанием, закрытая от индексации. А для попадания в основной индекс достаточно нормальных заголовков на странице.
Dotrox, спасибо за информацию, я этого не знал. Спарсенные тексты оставил из тех соображений, что планирую на них настроить рекламу яндекс.директ, при этом держа закрытыми от индекса, что бы поисковик не воспринимал меня как плагиатора. И потихоньку их открывать с оригинальными текстами привлекая с органического поиска. Но думаю, что бесполезно создавать рекламу на страницу без текста.
Dotrox правильно говорит. Уникальный h1 + title оставить, описания и воду скопипастенную убрать, за фото не переживайте, если есть типовые характеристики (детям до 3 лет, пр-во китай, цвет синий) то также оставьте. И открывайте для индексации. С ума тоже сходить не нужно с поисковиками, они понимают, что нельзя найти миллион разных магазинных фото для одной модели , к примеру, iphone Я бы на вашем месте больше внимания уделил продвижению разделов + максимально востребованных в поиске товаров. И будет вам трафик
Подскажите ещё, как быть с карточками товара, относящимися к одной модели товара, но другой расцветки. В данный момент у меня реализовано, что каждый цвет - это отдельная карточка товара. И что бы не ругаться с поисковиками по поводу множества дублей на их взляд, т.к. title, h1 и описания будут отличаться только наличием другого цвета, я решил сделать по одной карточке каждой модели товара с разрешением их индексировать в robots.txt, а все остальные вариации запретить. Как считаете, такой способ имеет право на жизнь или есть более рациональные подходы? (от опций отказался из-за неудобства обновления цен и остатков)
Я думаю, как минимум можно использовать rel="canonical", чтоб указать какую страницу считать основной. А вообще, тут ещё может пригодится микроразметка. Вообще, надо смотреть доки Гугла, там должны быть рекомендации на этот счёт.
Посмотрите как у других реализовано Код: view-source:http://www.svyaznoy.ru/catalog/phone/224/1716067 например, у связного через canonical. Но могу точно сказать, что в своем регионе мы на практике обошли и связной, и эльдорадо, и мвидео не ставя каноникал на айфоны. Бывают различия в цене + уникальный H1 + Title + Мета-теги + перелинковка + урлы. И каждый цвет у нас в топе по запросу. Не совсем понимаю смысла закрывать страницы в роботсе и при этом бояться их склейки) Ну склеит и склеит, все равно что вы в роботсе закроете страницы. А если не склеит только + вам. Вы заранее себя ограничиваете. Дайте шанс поисковику Возможно, здесь зависит и от запросов. Если ваши товары в цветах не ищут запросами, то и нет смысла переживать. Если ищут - зачем яндексу их клеить? Если переживаете за наличие описания на страницах для повышения конверсии, то поставьте спарсенное в noindex