Вопрос по robot.txt

Тема в разделе "Поисковые системы", создана пользователем Ping, 14 ноя 2012.

  1. Ping

    Ping PingWin always win Команда форума

    Регистрация:
    29 окт 2012
    Сообщения:
    443
    Симпатии:
    301
    Как правильно закрыть в robot.txt страницы которые не существуют ? Сайт поменялся, движок и ссылки естественно тоже. В инструментах гугла показаны тысячи ошибок на страницы которых нет.
     
  2. cobalt

    cobalt Команда форума

    Регистрация:
    18 окт 2012
    Сообщения:
    278
    Симпатии:
    127
    Если страница не существует, её не надо закрывать в robot.txt.
     
  3. Ping

    Ping PingWin always win Команда форума

    Регистрация:
    29 окт 2012
    Сообщения:
    443
    Симпатии:
    301
    т.е не обращать внимание на ошибки которые показывает в инструментах гугла ?
     
  4. cobalt

    cobalt Команда форума

    Регистрация:
    18 окт 2012
    Сообщения:
    278
    Симпатии:
    127
    Какие именно ошибки?
    Если отсутствующая страница висит в индексе - можете или удалить её через Инструменты для веб-мастеров в разделе Оптимизация --> Удалить URL-адреса (если их тысячи - процесс таки длительный), ну, или дождаться, когда сами отвалятся. Если страница существует, но по другому адресу - можете воспользоваться советом выше, или настроить 301-й редирект через .htaccess. Но это тоже надо делать для каждой страницы и будет очень длинная простыня. Редирект имеет смысл делать, если сайт давно в индексе, отсутствующие страницы высоко в выдаче и не хочется их терять.
     
    autopazzle нравится это.
  5. Ping

    Ping PingWin always win Команда форума

    Регистрация:
    29 окт 2012
    Сообщения:
    443
    Симпатии:
    301
    Спасибо, видимо так и поступлю. Страниц тысячи 3-4.
     
  6. ADv

    ADv

    Регистрация:
    30 ноя 2012
    Сообщения:
    12
    Симпатии:
    0
    Можете поставить 301й редирект со всех 404 например на главную. Но, таки лучше дождаться пока страницы выпадут самостоятельно, без "хирургического" вмешательства :Smile:
     
  7. Ping

    Ping PingWin always win Команда форума

    Регистрация:
    29 окт 2012
    Сообщения:
    443
    Симпатии:
    301
    уже начали уменьшатся )))
     
  8. KIa87

    KIa87

    Регистрация:
    15 окт 2012
    Сообщения:
    181
    Симпатии:
    52
    Все верно. Ставим 301 редирект через .htacess.
    Ждать - конечно тоже вариант, но, например в моем случае - я много где ссылки оставлял(форумы,комменты).
    И чтобы не только роботы не ошиблись, но и люди попали куда надо - рекомендую через редирект.
     
  9. Twoface

    Twoface

    Регистрация:
    3 дек 2012
    Сообщения:
    13
    Симпатии:
    0
    Можно ли слить в один два robot.txt, то есть от сайта и от форума. Или это не обязательно делать, просто я в этом не очень разбираюсь, нужны ли два robot.txt либо можно сделать один.
     
  10. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.349
    Симпатии:
    1.380
    нет, всё делается в одном роботсе просто для форума пути будут вида Allow: /forum/
     
  11. Twoface

    Twoface

    Регистрация:
    3 дек 2012
    Сообщения:
    13
    Симпатии:
    0
    Не совсем Вас понял, простите. То есть так:
    Disallow: /cache/ Это допустим сайт
    Allow: /forum/ Это форум
    Правильно я Вас понял, и всё это нужно совместить в одном роботсе, и оставить его в корне сайта а не в корне форума.
    Спасибо за ответ.
     
  12. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.349
    Симпатии:
    1.380
    / -корень сайта
    /forum/ - директория форума.
     
  13. Twoface

    Twoface

    Регистрация:
    3 дек 2012
    Сообщения:
    13
    Симпатии:
    0
    Ага, всё понял, сейчас замутим, спасибо огромное.
     
  14. region13

    region13

    Регистрация:
    20 фев 2013
    Сообщения:
    52
    Симпатии:
    6
    в гуглвебмастерской есть функция "удаления URLs" она как раз для этих целей, было дела так удалял около 2 тысяч страниц, а на следующий апдейт получил рост по позициям очень ощутимый))