[Помогите] Запрет индексации товара

Тема в разделе "OpenCart", создана пользователем prokurator, 2 апр 2013.

  1. prokurator

    prokurator

    Регистрация:
    29 янв 2013
    Сообщения:
    72
    Симпатии:
    11
    Здравствуйте. Товара на сайте под 30к. После обновления товара раз в 2 месяца много страниц индексируются с ошибками ( как несуществующие). Я тут подумал а если закрыть индексацию страниц товара, может не будет ошибок? И как это прописать в робот.тхт?
    з.ы. думаю из за этого под фильтром гугла :banghead:
     
  2. kama812

    kama812

    Регистрация:
    30 мар 2013
    Сообщения:
    311
    Симпатии:
    195
  3. Reqman

    Reqman

    Регистрация:
    25 фев 2013
    Сообщения:
    213
    Симпатии:
    62
    Попробуйте в robots.txt скрыть ненужные страницы от индексации, или закрыть от индекса сами ссылки товаров:
    1. Способ:
    Тегом <noindex>. Выглядит это так: <noindex>текст ссылки</noindex> Такой вариант подходит исключительно для Яндекса. Гугл его не воспринимает. То есть робот Яндекса не переходит по этой ссылке и авторитета не передаёт.
    2. Способ:
    Закрывать ссылку можно тегом <noindex><a href="http://ссылка" rel="nofoll</a><noindex> Такой способ актуален и для Яндекса и для Гугла. Единственное. Для Гугла этот код не действенен в плане передачи авторитета. То есть закрытую таким образом ссылку Гугл не индексирует, но авторитет страницы, на которой она установлена всё равно передаёт.
    3. Способ:
    Закрывать ссылки посредством библиотеки jQuery.
    Выглядит это так: <span id="link1"></span>
    jQuery(function($) {
    $("#link1").html("a href=\код ссылки">Читать дальше</a>");
    });
     
  4. Alexxcha

    Alexxcha

    Регистрация:
    21 ноя 2012
    Сообщения:
    130
    Симпатии:
    36
    Эмм.... а можно по подробнее - это с чего это вдруг закрытые от индексации ссылки вдруг получают вес? В таком случае получается что ссылки на форумах и в блогах которые создатели специально закрывают тегами noindex и nofollow - все равно отдают вес?
    Ткните носом пожалуйста где это написано.
    --- добавлено: Apr 2, 2013 3:43 PM ---
    Несколько непонятно в связи с чем страницы индексируются с ошибками?


    Если причина в том, что во время индексации сайта - он обновлялся и страницы были не доступны - то в таком случае проще всего на время обновления отключать сайт и отдавать поисковым роботам техническую страницу - мол на сайте ведутся технические работы....

    Если причина все же в том, что после обновления на страницах с товаром ошибки - то тогда блокировать доступ через robots - правда в таком случае необходимо следить за величиной этого файла и раз в пару месяцев удалять уже не индексируемые ошибочные ссылки....

    Если мыслю не правильно готов выслушать аргументы :smile:)
     
  5. Reqman

    Reqman

    Регистрация:
    25 фев 2013
    Сообщения:
    213
    Симпатии:
    62
    Подождите, может я чего-то не понял. Какая у Вас ситуация? На сайте есть 30 000 товаров. Как ведет себя поисковая система, когда переиндексирует Ваш сайт? Она половину страниц исключает с индекса? С чего вы взяли, что:
    И скажите пожалуйста, каким способом вы добавляете товар на сайт: руками или массовым импортом. Если массово, то каким конкретно способом. А еще лучше ссылку на сайт дайте :smile:
     
  6. prokurator

    prokurator

    Регистрация:
    29 янв 2013
    Сообщения:
    72
    Симпатии:
    11
    Гугл вебмастрес выдаёт: Рост числа ошибок при сканировании. Целевой URL не существует, и ваш сервер не возвращает код ошибки 404 (файл не найден)
    В опенкарте можно как то из под СMS запретить индексацию?
     
  7. Reqman

    Reqman

    Регистрация:
    25 фев 2013
    Сообщения:
    213
    Симпатии:
    62
    Посмотрите справку Google. Там описаны различные варианты появления проблем с ошибкой об отсутствие страницы 404. Например, вот этот вариант:
    --- добавлено: Apr 2, 2013 4:24 PM ---
    Только через файл robots.txt. Из админки самой CMS, этого сделать нельзя.
     
    prokurator нравится это.
  8. denya

    denya

    Регистрация:
    2 мар 2013
    Сообщения:
    130
    Симпатии:
    35
    Включен ли у вас СЕО модуль?
    Если нет - Может быть ситуация, что при обновлении товара вы меняете им идентификаторы, соответственно проиндексированные товары перестают быть доступными, а Opencart некорректно отдает код статуса для товара, который не найден.
    Как это пофиксить можете прочитать тут .

    Но тогда у вас бОльшая проблема: обновление каталога товара вызывает вылет из индекса поисковиков.
     
  9. prokurator

    prokurator

    Регистрация:
    29 янв 2013
    Сообщения:
    72
    Симпатии:
    11
    denya, к сожалению ключён
     
  10. denya

    denya

    Регистрация:
    2 мар 2013
    Сообщения:
    130
    Симпатии:
    35
    Посмотрите в вебмастере гугла Состояние - Ошибки сканирования, тут будут отображены все ошибочные страницы. Попробуйте проверить эти страницы, возможно, они были временно недоступны (на момент обновления каталога), тогда их можно "Отметить как исправленные". Что происходит при переходе на ошибочные страницы, как реагирует сайт с каким кодом статуса?

    З.Ы. какая версия Opencart? - в старых была проблема с 404 кодом в catalog/controller/error/not_found.php
     
  11. kama812

    kama812

    Регистрация:
    30 мар 2013
    Сообщения:
    311
    Симпатии:
    195
    так надо или не надо закрывать от индексации? вот в чем вопрос.
    я сначала подумал что ситуации в следующем, гугл проходится по сайту, индексирует продукты, а после обновления товара, проиндексированных продуктов уже нет.
    если надо:
    для яндекса <noindex></noindex> и гугла <!--googleoff: all--><!--googleon: all-->

    открывает catalog/view/theme/default/template/catalog/product.tpl

    перед тем как начинается сам блок продукта (примерно после <?php echo $header;?> такая же хрень для левой, правой колонки)
    вставляем <noindex><!--googleoff: all-->
    вот не знаю надо включать сюда хлебные крошки или нет.
    и перед выводом модулей футера соответственно <!--googleon: all--></noindex>

    тогда информация о продукте не попадет в индексацию. ну или специалисты скажут что там с ней будет. просто гугл сам пишет об этом https://developers.google.com/search-appliance/documentation/46/admin_crawl/Preparing
     
    prokurator нравится это.
  12. prokurator

    prokurator

    Регистрация:
    29 янв 2013
    Сообщения:
    72
    Симпатии:
    11
    kama812, надо специально закрыть весь товар от индексации, чтобы в дальнейшем не было этого. Товара в выдаче всё равно нет... Скорее сделаю по вашей подсказке.
     
  13. Florenco

    Florenco

    Регистрация:
    3 мар 2013
    Сообщения:
    220
    Симпатии:
    102
    seourl на дубли проверьте и прописаны ли они вообще. Закрывать страницу с товаром от индексации бред, потому что это приоритетная страница для выдачи. Совет с product.tpl страницу от индекса не закроет, а закроет только её контент.
     
    kama812 нравится это.