Googlebot vs Robots.txt

Тема в разделе "Мегафлуд", создана пользователем marsrip, 24 мар 2013.

  1. marsrip

    marsrip

    Регистрация:
    13 мар 2013
    Сообщения:
    116
    Симпатии:
    55
    Как известно Гоша не так давно запустил Быстрого бота , который почти моментально выводит странички в индекс ,это конечно огромный и жирный + Но есть одно но во время быстрой индексации но игнорирует половину Robots.txt и некоторые данные улетают в индекс (да что там говорить не то что данные а даже странички из админки =) )
    Недавно буквально вчера забив в поиске адрес сайта увидел ссылки на админку которые с Robots.txt выглядят вот так
    User-agent: *
    Disallow: /admin/
    Трабл был быстро удален из индекса но неприятный осадочек остался .
    Так же многие пишут что информация улетает не смотря на запрет в Robots.txt так что будьте внимательны!
    Как уже давно известно что роботы Гоши частенько игнорируют запреты и данный улетают в индекс (Не так давно был скандал с учетками сэкс шопов ) так что не забываем проверять кеш Гоши ....
    Насколько я знаю Яша запустил тот же сервис , но он у него работает плохо , по статике робот заходит крутится на сайте и уходит за 3 дня тестов Гугл уже кинул 100 страничек в индекс Яндекс только 2 и то 1 страничка не на сайт а на бэк .....
     
    winner7 нравится это.