Составляем правильный robots.txt для XenForo

Тема в разделе "xenForo", создана пользователем $iD, 15 май 2012.

  1. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.581
    Симпатии:
    1.482
    Решил создать тему о том кто, как составляет robots.txt для XenForo. Мой:
    Код:
    User-agent: *
    Disallow: /register.html
    Disallow: /attachments/
    Disallow: /birthdays/
    Disallow: /find-new/
    Disallow: /*/?direction
    Disallow: /*/?order
    Disallow: /*/page-*?order
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /misc/
    Disallow: /online/
    Disallow: /recent-activity/
    Disallow: /register
    Disallow: /search/
    Disallow: /search.php
    Disallow: /WhoHasVisited/
    Allow: /misc/quick-navigation-menu
    Sitemap: http://wmasteru.ru/sitemap/sitemap.xml.gz
     
    User-agent: Yandex
    Disallow: /register.html
    Disallow: /attachments/
    Disallow: /birthdays/
    Disallow: /find-new/
    Disallow: /*/?direction
    Disallow: /*/?order
    Disallow: /*/page-*?order
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /misc/
    Disallow: /online/
    Disallow: /recent-activity/
    Disallow: /register
    Disallow: /search/
    Disallow: /search.php
    Disallow: /WhoHasVisited/
    Allow: /misc/quick-navigation-menu
    Host: wmasteru.ru
    Sitemap: http://wmasteru.ru/sitemap/sitemap.xml.gz
    Данный вариант не является самым правильным, может кто-то составил по другому. Для этого и была создана эта тема, дабы более-менее систематизировать знания.

    У кого есть предложения, смело пишите их тут.
     
    Alex31 нравится это.
  2. Betelgelze

    Betelgelze

    Регистрация:
    17 июн 2012
    Сообщения:
    68
    Симпатии:
    11
    у меня некоторые сомнения по поводу пунктов
    Disallow: /register.html
    Disallow: /login/

    Дело в том, что на страницу регистрации можно зайти 3 способами добавив после домена:
    /register/
    /register.html
    /register.php

    Тоже самое касается login, поэтому я считаю что нужно прописывать так:
    Disallow: /register
    Disallow: /login

    Правильно ли я понимаю, что это означает запрет индексации страниц с таким началом и любым окончанием? Или надо как то по другому прописывать?

    К примеру у вас прописано /search/ и отдельно /search.php но и /search.html будет работать