[Помогите] Почему роботы продолжают заходить на сайт?

Тема в разделе "OpenCart", создана пользователем Veron77, 10 авг 2014.

  1. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    Мой сайт avtosnab24.ru подключен к информации на сайте моего поставщика... и у меня отражается зеркально также информация что и у них. Но вот беда... что бы снизить нагрузку на сервер они поставили ограничение на количество переходов но сайту 2000 в день и когда лимит превышен отключают к показу наличие и цену. И предупредили что бы я закрыл доступ к модулю на сайте для роботов. И я закрыл вроде бы как... по крайней мере в яндексе проверял... он показывает запрет. Но все равно у меня часто бывает перебор по переходам более 2000 и меня отключают. Что мне делать? Как заблокировать роботов?
    Вот что у меня в файле Robots.txt

    User-agent: *
    Disallow: /parts
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /admin
    Disallow: /login/
    Disallow: /search/
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /dogovor
    Sitemap: http://avtosnab24.ru/sitemap.xml


    User-agent: Yandex
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Clean-param: tracking
    Disallow: /parts
    Disallow: /dogovor
    Host: avtosnab24.ru


    User-agent: Aport
    User-agent: Googlebot
    Disallow: /parts


    User-agent: StackRambler
    Disallow: /parts
     
  2. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    Похоже.....задача не решаемая?!((
     
  3. avril

    avril

    Регистрация:
    5 авг 2014
    Сообщения:
    146
    Симпатии:
    135
    Может Вам попробовать также сделать такую систему защиты как временное ограничение при переходе на сайт, например как на opencart.com. Т.е. 3-5 сек. выводится окошко, подождите сайт загружается.
    Также попробуйте в head вставить данный мета-тег <meta name="robots" content="noindex,nofollow" />
    У вас случайно не стоит мониторинг сайта типа host-tracker.com?
     
  4. дмитрий111113

    дмитрий111113

    Регистрация:
    18 мар 2014
    Сообщения:
    39
    Симпатии:
    12

    Чтобы запретить всем просто напиши
    User-agent: *
    Disallow: /

    всё остальное удали
     
  5. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    Но в этом случае весь сайт будет под запретом...а это плохо для индексации тех страниц что нужны. Хотелось бы только модуль каталога запчастей "parts" закрыть
    --- Добавлено, 11 авг 2014 ---

    А как проверить стоит он или нет? host-tracker.com я вроде бы его не устанавливал, темболее что это платная услуга.

    Может Вам попробовать также сделать такую систему защиты как временное ограничение при переходе на сайт, например как на opencart.com. Т.е. 3-5 сек. выводится окошко, подождите сайт загружается. .... Что это даст?
     
    Последнее редактирование: 11 авг 2014
  6. дмитрий111113

    дмитрий111113

    Регистрация:
    18 мар 2014
    Сообщения:
    39
    Симпатии:
    12
    User-agent: *
    Disallow: /parts


    ну так у тебя роботы всё ровно тогда будут съедать всё. Может быть настроить кеширование например поможет.
     
  7. avril

    avril

    Регистрация:
    5 авг 2014
    Сообщения:
    146
    Симпатии:
    135
    Если Вы сами не устанавливали мониторинг host-tracker.com, то следовательно его и нет у Вас.
    По поводу временного ограничения - это даст, то что отсеется часть ботов.
     
  8. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    Может и правда удалить все... и поставить запрет
     
  9. ivanuch90

    ivanuch90

    Регистрация:
    1 апр 2013
    Сообщения:
    205
    Симпатии:
    44
    Гугл индексирует даже то что закрыто в файле роботс, так что вам нужно искать другие пути решения.
     
  10. vodopyanov

    vodopyanov

    Регистрация:
    10 окт 2013
    Сообщения:
    41
    Симпатии:
    15
    Вы можете установить на Ваши сайты кеширующие плагины и ограничить поисковых ботов настройкой файла robots.txt
    cat /var/log/nginx/access.log.1.gz | grep site.ru | grep bot | wc -l
    4206
    вот у меня была похожая ситуация....попробуй может поможет