У меня сайт подключен к моим партнёрам и информация от них выдаётся на моем сайте. Но свыше 2000 запросов в сутки ...и они отключают доступ к своей информации для меня. И часто так и происходит... я превышаю лимит. Оказалось это роботы творят и их нужно отключить для доступа именно к этому модулю. я поставил запрет в файле robots.txt вот такой Disallow: /parts но роботы яндекса все равно заходят. Что мне можно сделать что бы они не шарились ? Спасибо! --- Добавлено, 1 авг 2014 --- мне посоветовали попробовать html тэг <NOINDEX>. Как его грамотно установить если он работает?
Veron77, Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). Есть целый сайт, который посвящен роботам, индексации и файлу robots.txt - Ботов msn и прочих можно вообще не пускать на сайт. Вот здесь написано как это сделать:
