Решил создать тему о том кто, как составляет robots.txt для XenForo. Мой: Код: User-agent: * Disallow: /register.html Disallow: /attachments/ Disallow: /birthdays/ Disallow: /find-new/ Disallow: /*/?direction Disallow: /*/?order Disallow: /*/page-*?order Disallow: /login/ Disallow: /lost-password/ Disallow: /misc/ Disallow: /online/ Disallow: /recent-activity/ Disallow: /register Disallow: /search/ Disallow: /search.php Disallow: /WhoHasVisited/ Allow: /misc/quick-navigation-menu Sitemap: http://wmasteru.ru/sitemap/sitemap.xml.gz User-agent: Yandex Disallow: /register.html Disallow: /attachments/ Disallow: /birthdays/ Disallow: /find-new/ Disallow: /*/?direction Disallow: /*/?order Disallow: /*/page-*?order Disallow: /login/ Disallow: /lost-password/ Disallow: /misc/ Disallow: /online/ Disallow: /recent-activity/ Disallow: /register Disallow: /search/ Disallow: /search.php Disallow: /WhoHasVisited/ Allow: /misc/quick-navigation-menu Host: wmasteru.ru Sitemap: http://wmasteru.ru/sitemap/sitemap.xml.gz Данный вариант не является самым правильным, может кто-то составил по другому. Для этого и была создана эта тема, дабы более-менее систематизировать знания. У кого есть предложения, смело пишите их тут.
у меня некоторые сомнения по поводу пунктов Disallow: /register.html Disallow: /login/ Дело в том, что на страницу регистрации можно зайти 3 способами добавив после домена: /register/ /register.html /register.php Тоже самое касается login, поэтому я считаю что нужно прописывать так: Disallow: /register Disallow: /login Правильно ли я понимаю, что это означает запрет индексации страниц с таким началом и любым окончанием? Или надо как то по другому прописывать? К примеру у вас прописано /search/ и отдельно /search.php но и /search.html будет работать
