robots.txt

Тема в разделе "OpenCart", создана пользователем ferments, 12 дек 2012.

  1. Павел_Б

    Павел_Б

    Регистрация:
    12 янв 2013
    Сообщения:
    67
    Симпатии:
    6
    Ребята, подниму тему.
    По добавлял товара, на странице в категории отображается 15 товаров, поэтому появились странички 1, 2, 3... Гугл проиндексировал их, а именно shop.kherson-holod.com.ua/kondicionery?page=2 ! Надо ли это? Или запретить Disallow: /*?page ?

    Срочно! Еще Хелп! Гугл также проиндексировал страницы поиска товара shop.kherson-holod.com.ua/search.html?filter_tag=Cooper-Hunter%20CH-S09SRP Что с этим делать!? Или это нормально??

    Я вообще пока поддомен не добавлял в поиск для Гугла, да и не собираюсь. Просто перезалью сайт с поддомена в домен(там сейчас старый сайт) че он его подхватил?

    Может вообще пока в Роботс прописать запреты на индексацию???

    Буду очень признателен за любую помощь!!!
     
  2. Matras

    Matras

    Регистрация:
    27 окт 2012
    Сообщения:
    165
    Симпатии:
    27
    Это ссылки на страницы в категориях, решение это проблемы пока не нашел, если сделаешь Disallow: /*?page ?, он страницы в категории листать не будет.
    --- добавлено: Jan 25, 2013 7:34 AM ---
    А вообще я нашел решение по ридиректу всех ссылок через вот такой пример
    Код:
    Удаление дублей страниц
    
    Простейший и в то же время чаще всего необходимый трюк – редирект дублей одной и той же страницы на основной ее адрес.
    Яркий пример – главная страница любого сайта обычно доступна по 4-ем адресам:
    http://www.site.ru/
    http://site.ru/
    http://www.site.ru/index.html
    http://site.ru/index.html
    Каждый из перечисленных выше вариантов распознается поисковыми системами как самостоятельная страница, отсюда идет дублирование контента одной и той же страницы по нескольким адресам, что не есть хорошо.
    Решение этой проблемы предельно простое и выглядит так:
    Options +FollowSymLinks
    RewriteEngine on
    RewriteCond %{HTTP_HOST} ^site.ru
    RewriteRule (.*) http://www.site.ru/$1 [R=301,L]
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
    RewriteRule ^index\.html$ http://www.site.ru/ [R=301,L]
    Таким образом, мы получим редирект всех страниц-дублей на http://www.site.ru/
     
  3. hicenko

    hicenko

    Регистрация:
    24 янв 2013
    Сообщения:
    97
    Симпатии:
    17
    Вот мой:
    Код:
    User-agent: *
    Disallow: /search/
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /login/
    Disallow: /shopping-cart/
    Disallow: /compare-products/
    Disallow: /forgot-password/
    Disallow: /create-account/
    Disallow: /system
    Disallow: /*sort*
    Disallow: /*limit*
    Disallow: /*filter*
    Disallow: /*tracking*
    Host: site
     
  4. Matras

    Matras

    Регистрация:
    27 окт 2012
    Сообщения:
    165
    Симпатии:
    27
    Да у тебя наверно дублей куча?
     
  5. hicenko

    hicenko

    Регистрация:
    24 янв 2013
    Сообщения:
    97
    Симпатии:
    17
    Неа, у меня все в ЧПУ.
     
  6. Павел_Б

    Павел_Б

    Регистрация:
    12 янв 2013
    Сообщения:
    67
    Симпатии:
    6
    Скажите пожалуйста, может вообще пока в Роботс прописать запреты на индексацию всего сайта??? Потому что сайт пока что наполняется!
    Сайт стоит на поддомене(то есть потом переедет на другой адрес-чистый домен). Потом ведь будут другие пути(ссылки) на товары!
    Может включить Режим обслуживания сайта в Админке(Отключает магазин для посетителей. Им будет показано сообщение о том, что магазин находится на обслуживании. Магазин не отключается только для администратора.)
    Что посоветуете?
     
  7. Matras

    Matras

    Регистрация:
    27 окт 2012
    Сообщения:
    165
    Симпатии:
    27
    Кончено ставьте запрет, а то домен будет в индексе.
     
    Павел_Б нравится это.
  8. Павел_Б

    Павел_Б

    Регистрация:
    12 янв 2013
    Сообщения:
    67
    Симпатии:
    6
    Matras, подскажите пожалуйста надо добавить строчку: Disallow: / и все? Чтоб я уже спал спокойно)
     
  9. hicenko

    hicenko

    Регистрация:
    24 янв 2013
    Сообщения:
    97
    Симпатии:
    17
    Можно так:

    User-agent: Yandex
    Disallow: /

    User-agent: *
    Disallow: /

    Что быть уверенным на 100%
     
    Павел_Б нравится это.
  10. Matras

    Matras

    Регистрация:
    27 окт 2012
    Сообщения:
    165
    Симпатии:
    27
    Я просто так делаю для поддоменов и все.
     
    Павел_Б нравится это.
  11. Rusik

    Rusik

    Регистрация:
    21 янв 2013
    Сообщения:
    162
    Симпатии:
    51
    Сегодня смотрел выдачу гугла.. смотрю он индексирует закрытые страницы с ?limit= . При этом пишет:
    1. Описание веб-страницы недоступно из-за ограничений в файле robots.txt.Подробнее..
      Это на что-то влияет?
     
  12. Matras

    Matras

    Регистрация:
    27 окт 2012
    Сообщения:
    165
    Симпатии:
    27
    Это как раз нормально, информация за лимитами бесполезная находится в индексе ей быть не к чему.