[Решено] robots.txt

Тема в разделе "Wordpress", создана пользователем adgjm90, 25 мар 2014.

Статус темы:
Закрыта.
  1. adgjm90

    adgjm90

    Регистрация:
    25 мар 2014
    Сообщения:
    2
    Симпатии:
    0
    Здравствуйте. Моему сайту (http://kovkavolgograd.ru/) три месяца. Индексируется в яндексе только одна страница. robots.txt брал с интернета. Подскажите какие строчки в robots.txt запрещают индексацию страниц сайта и записей сайта?

    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /webstat/
    Disallow: /feed/
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Disallow: /category/*/*
    Disallow: /wp-content/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /comments

    С Ув.
     
  2. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.264
    Симпатии:
    534
    adgjm90, у вас в роботсе правило:
    Disallow: /*?*

    А все ссылки работают через ?, например -


    И урл запрещен правилом /*?*

    У яндекса есть тулза для проверки роботса:



    Кроме того у вас дубль сайта есть под другому адресу, что тоже есть не очень хорошо для индексации нового сайта:
     
    adgjm90 нравится это.
  3. AlexI

    AlexI

    Регистрация:
    14 май 2013
    Сообщения:
    36
    Симпатии:
    12
    Самый распространенный роботс на ВП:

    User-agent: *
    Crawl-delay: 4
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*

    User-agent: Yandex
    Crawl-delay: 4
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Host: site.ru

    Sitemap: http://site.ru/sitemap.xml.gz
    Sitemap: http://site.ru/sitemap.xml
     
  4. adgjm90

    adgjm90

    Регистрация:
    25 мар 2014
    Сообщения:
    2
    Симпатии:
    0
    Bnopen,
    Спасибо большое !
    А вот это
    Disallow: /*?
    из той же серии как и Disallow: /*?* ?
    Про второй сайт знаю. Он на ucoz . Сегодня его переделывал с ковки на металлоизделия. Или его по быстрей убрать вообще ?
    Я в этих делах новичок, это первые мои два сайта, для работы делал, сам кузнец по художественной ковке.
    Спасибо еще раз.
    С Ув.
     
  5. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.264
    Симпатии:
    534
    adgjm90, да правило Disallow: /*? тоже надо убрать и в двух секциях: в User-agent: * и в User-agent: Yandex для яндекса.
    Тогда, все ок и урл разрешен будет в индексации.
    Ну и можно просто сделать чпу для сайта или другой вид ссылок в настройках, просто если в урле есть символ "?" то индексация запрещена правилом.

    Просто поисковики не очень хорошо относятся к дублям контента.
     
    adgjm90 нравится это.
Статус темы:
Закрыта.