Всем привет! Может кто подскажет как грамотно сделать robots.txt Какие у вас варианты ? У меня такой вариант есть User-agent: * Disallow: /admin Disallow: /cache Disallow: /niks Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /index.php?route=account Disallow: /index.php?route=account/account Disallow: /index.php?route=checkout/cart Disallow: /index.php?route=checkout/shipping Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /index.php?route=product/search Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/ Disallow: /*route=account/login Disallow: /*route=checkout/ Disallow: /*route=checkout/cart Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?sort= Disallow: /*?sort Disallow: /*&sort= Disallow: /*?order= Disallow: /*?order Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?manufacturer Disallow: /*?keyword Host: host.ru Может есть что то лишние у меня ? Просто в google web masters в сайт мап пишет:это нормальна? Предупреждения Доступ к URL заблокирован в файле robots.txt. Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. 848
рекомендую добавить сайт в яндекс.вебмастер, у них есть проверка ссылок.. загружаете роботс, и вставляете ссылку на товар, жмёте на кнопку и проверяется доступность ссылки для ботов... таким образом можно отследить какие ссылки блокирует роботс.
версия 1513 мой роботс, вроде все гуд) Код: User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Host: www.САЙТ.ru User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Host: www.САЙТ.ru Clean-param: tracking Clean-param: filter_name Clean-param: filter_sub_category Clean-param: filter_description Sitemap: http://www.САЙТ.ru/sitemap.xml
Вопрос звучит так страницы прыгают туда сюда в индексе яшке. Предыстория: Было 2 sitemap 1) встроенный который в движке 2) собственного производства вообщем идея была закрыть старый и только чтоб новый работал, в итоге сегодня опять улетело часть страниц из индекса. Вопрос строчка то что красным помечена могла повлиять на это?
из-за сайтмэпа страницы обычно не вылетают, сайтмэп способствует быстрой индексации, если бот зашел на сайт. + в каком поисковике проседание? если в Яше, то у него апы выдачи бывают 2-3 раза в неделю. я бы советовал воспользоваться вебмастером яндекса чтобы посмотреть схватывает ли у вас sitemap бот или нет.
Да апы вижу просто понять не могу началось как сделал seo страницы и прописал каноничность сделал и закрыл index те что не seo url мапу в вебмастере хватает нормально.
посмотрите какие ссылки сейчас живут в выдаче, с index.php или уже нормальный ЧПУ. + из-за смены ссылок может быть проседание, надо подождать обновления и тогда должно всё встать на свои места.
Страниц в поиске 1023Загружено роботом 9118 sitemap.xml Используется при обходе Версия от 6.12.2012 Содержит 4597 страниц но так уже месяца 4 страницы то в + 700 то в минус раньше когда не было seo url было 6000 в индексе после установке улетело с начало до 4000 потом до 2000 потом а сейчас во все 1023. с платоном общался сказал фильтров нет тип все будет ждите но пол года по моему что то не так у меня.. --- добавлено: 18 дек 2012 в 21:43 --- /index таких в индексе нету только осталось часть в Документ является неканонически 1699 но они снижаются с каждым апдейтом а новые то приходят т о у ходят обычно уходят больше. стоп вру Документ является неканонически там как раз нужные ссылки весят. --- добавлено: 18 дек 2012 в 21:48 --- Но там везде тег прописан. --- добавлено: 18 дек 2012 в 21:52 --- а всего в sitemap.xml у меня прописано 4705 url вот они все должны быть в поиске и получается не хватает 3682 в индексе я уже 4 месяца борюсь не могу понять вчем дело вылетели за секунду а входят то выходят +-700 ссылок но в + не чего не идет. --- добавлено: 18 дек 2012 в 21:52 --- Помогите пожалуйста очень нуждаюсь.
FOX864, ну и зачем запрещать ботам сканить сайтмап? Если вы хотите скармить нужную вам карту, лучше первую измените в расширении, что б бот не нашел.Он парень коварный запишет страницы в 404 или дубль, может еще чего.) Конечно это влияет на индексацию.Карта существует для ускарения индексации, роботс.тхт для блокировки/разрешения той или иной ветки индексации. Вы же с лёгкостью найдёте пожарный выход по карте чем без нее верно?,) То что страницы вылетают, влиять может много факторов в том числе дубли, здесь сеошник нужен или чтение соответствующей литературы.
последнею строчку тоже надо было посмотреть. у меня беда с robots.txt если есть люди кто умеет составлять прошу на писать мне в лк. --- добавлено: 18 дек 2012 в 22:50 --- хм идея а может так сделать в .htaccess прописать Redirect 301 /sitemap.xml http://site.ru/sitemap/sitemap.xml а в robots.txt оставить только sitemap: http://site.ru/sitemap/sitemap.xml
А зачем? Чем Ваш новый лучше встроенного? Что-то уж очень я сомневаюсь, что из-за изменения карты сайта могли повылетать страницы. Карта сайта помогает найти страницы, но не гарантирует, что робот именно по ней и пойдёт. Но она уж точно ничего не запрещает. Если страница была проиндексирована ранее - совершенно неважно, есть она в карте сайта, или нет. Робот будет проверять наличие/изменение страницы по прямой, уже проиндексированной ссылке. В роботсе у Вас не в том блоке указана директива Host. Её понимает только Яндекс, поэтому её и надо писать в блоке для Яндекса. А у Вас она есть для всех, кроме Яндекса.
Спасибо про хост. Про мапу стандартную скажу так , почему то на нее ругался яндес на кодировку хотя она была верна, а то что у меня она идеально везде проверяется сервесами. --- добавлено: 19 дек 2012 в 18:41 ---
мой роботс User-agent: * Disallow: /admin Disallow: /cache Disallow: /niks Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /index.php?route=account Disallow: /index.php?route=account/account Disallow: /index.php?route=checkout/cart Disallow: /index.php?route=checkout/shipping Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /index.php?route=product/search Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/ Disallow: /*route=account/login Disallow: /*route=checkout/ Disallow: /*route=checkout/cart Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?sort= Disallow: /*?sort Disallow: /*&sort= Disallow: /*?order= Disallow: /*?order Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?manufacturer Disallow: /*?keyword Host: ляляля.рф User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Clean-param: tracking
