Помогите закрыть сайт от поисковых роботов.

Тема в разделе "OpenCart", создана пользователем Veron77, 1 авг 2014.

  1. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    У меня сайт подключен к моим партнёрам и информация от них выдаётся на моем сайте. Но свыше 2000 запросов в сутки ...и они отключают доступ к своей информации для меня. И часто так и происходит... я превышаю лимит. Оказалось это роботы творят и их нужно отключить для доступа именно к этому модулю. я поставил запрет в файле robots.txt вот такой Disallow: /parts но роботы яндекса все равно заходят. Что мне можно сделать что бы они не шарились ? Спасибо!
    --- Добавлено, 1 авг 2014 ---
    мне посоветовали попробовать html тэг <NOINDEX>. Как его грамотно установить если он работает?
     
    Последнее редактирование: 1 авг 2014
  2. mamal

    mamal

    Регистрация:
    24 май 2013
    Сообщения:
    35
    Симпатии:
    266
  3. Booz

    Booz

    Регистрация:
    16 июл 2014
    Сообщения:
    40
    Симпатии:
    5
    Disallow: / в robots.txt
     
  4. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    я поставил запрет в файле robots.txt вот такой Disallow: /parts но роботы яндекса все равно заходят.
     
  5. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.155
    Симпатии:
    514
    Veron77, Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). Есть целый сайт, который посвящен роботам, индексации и файлу robots.txt -

    Ботов msn и прочих можно вообще не пускать на сайт. Вот здесь написано как это сделать: