Как правильно закрыть в robot.txt страницы которые не существуют ? Сайт поменялся, движок и ссылки естественно тоже. В инструментах гугла показаны тысячи ошибок на страницы которых нет.
Какие именно ошибки? Если отсутствующая страница висит в индексе - можете или удалить её через Инструменты для веб-мастеров в разделе Оптимизация --> Удалить URL-адреса (если их тысячи - процесс таки длительный), ну, или дождаться, когда сами отвалятся. Если страница существует, но по другому адресу - можете воспользоваться советом выше, или настроить 301-й редирект через .htaccess. Но это тоже надо делать для каждой страницы и будет очень длинная простыня. Редирект имеет смысл делать, если сайт давно в индексе, отсутствующие страницы высоко в выдаче и не хочется их терять.
Можете поставить 301й редирект со всех 404 например на главную. Но, таки лучше дождаться пока страницы выпадут самостоятельно, без "хирургического" вмешательства
Все верно. Ставим 301 редирект через .htacess. Ждать - конечно тоже вариант, но, например в моем случае - я много где ссылки оставлял(форумы,комменты). И чтобы не только роботы не ошиблись, но и люди попали куда надо - рекомендую через редирект.
Можно ли слить в один два robot.txt, то есть от сайта и от форума. Или это не обязательно делать, просто я в этом не очень разбираюсь, нужны ли два robot.txt либо можно сделать один.
Не совсем Вас понял, простите. То есть так: Disallow: /cache/ Это допустим сайт Allow: /forum/ Это форум Правильно я Вас понял, и всё это нужно совместить в одном роботсе, и оставить его в корне сайта а не в корне форума. Спасибо за ответ.
в гуглвебмастерской есть функция "удаления URLs" она как раз для этих целей, было дела так удалял около 2 тысяч страниц, а на следующий апдейт получил рост по позициям очень ощутимый))
