[Помогите] Robots.txt совет нужен!

Тема в разделе "OpenCart", создана пользователем Mix-magazin, 9 апр 2013.

Страница 1 из 2
  1. Mix-magazin

    Mix-magazin

    Регистрация:
    29 мар 2013
    Сообщения:
    23
    Симпатии:
    7
    Здравствуйте! Может кто поможет разобраться с этим Robots.txt Яндекс не индексирует сайт . (только одна страница )
    Может ,что я не правильно прописал. Мне надо чтобы яндекс проиндексировал Главная, Категории, Товар и Акции. Все остальное я думаю лучше закрыть??
    Вот мой Robots. , что не так сделал ?

    User-agent: *

    Disallow: /admin
    Disallow: /cache
    Disallow: /niks
    Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword
    Disallow: /login
    Disallow: /checkout
    Disallow: /create-account
    Disallow: /compare-products
    Disallow: /shopping-cart
    Disallow: /affiliate-login
    Disallow: /vouchers
    Disallow: /request-return
    Disallow: /order-history
    Disallow: /contact
    Disallow: /index.php?route=prod


    User-agent: Yandex
    Disallow: /admin
    Disallow: /cache
    Disallow: /niks
    Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword
    Disallow: /login
    Disallow: /checkout
    Disallow: /create-account
    Disallow: /compare-products
    Disallow: /shopping-cart
    Disallow: /affiliate-login
    Disallow: /vouchers
    Disallow: /request-return
    Disallow: /order-history
    Disallow: /contact
    Disallow: /index.php?route=prod
    Host: мой сайт.ru

    Sitemap: http://мой сайт.ru/index.php?route=feed/google_sitemap

    Ссылки на категории и товар у меня такого вида
    Категории http://мой сайт.ru/Monster-Beats , http://мой сайт.ru/-mac/macbook-pro
    Сам товар http://мой сайт.ru/-mac/macbook-pro/macbookpro-retina-13/-proretina-13-corei5-25-8-128.html,
    http://мой сайт.ru/iphone-4s/apple-iphone-4-8gb-black.html
     
    Mix-magazin, 9 апр 2013
    #1
  2. marsrip

    marsrip

    Регистрация:
    13 мар 2013
    Сообщения:
    116
    Симпатии:
    55
    сколько уже индекса нет ? если неделю то Яша тупой он по 3 недели индексирует если его не пинать , а если пнуть то за 1 час сайт в индекс улетает
     
    marsrip, 9 апр 2013
    #2
  3. Mix-magazin

    Mix-magazin

    Регистрация:
    29 мар 2013
    Сообщения:
    23
    Симпатии:
    7
    Наверное уже месяц, как главная. А как пнуть его?
     
    Mix-magazin, 9 апр 2013
    #3
  4. marsrip

    marsrip

    Регистрация:
    13 мар 2013
    Сообщения:
    116
    Симпатии:
    55
    купи пару статей и пару ссылок по акаунтам в соцках прогони ..... Месяц ? ты случайно не под фильтром ? сайт прогонял ?
     
    marsrip, 9 апр 2013
    #4
  5. Mix-magazin

    Mix-magazin

    Регистрация:
    29 мар 2013
    Сообщения:
    23
    Симпатии:
    7
    Да не должен.. Хотя в нашей жизни все может быть. А как можно узнать под фильтром сайт или нет? А может причина быть в этом Robots.txt , а то он у меня какой-то длинный получился???
     
    Mix-magazin, 9 апр 2013
    #5
  6. marsrip

    marsrip

    Регистрация:
    13 мар 2013
    Сообщения:
    116
    Симпатии:
    55
    смотри вэбмастер , робот вообще посещает твой домен ? а то тебя и в гугле нет не только в яндексе ..... Гоша выдает вот это http://mixmagazin.ru/ вместо твоего сайта =) возможно попал под фильтр ....
     
    marsrip, 9 апр 2013
    #6
  7. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.264
    Симпатии:
    534
    Mix-magazin, у яндекса есть анализатор robots.txt -
    http://webmaster.yandex.ru/robots.xml

    Укажите имя вашего сайта и нажмите кнопку «Загрузить robots.txt с сайта».

    Нажав кнопку «Проверить», вы можете узнать, будет ли робот обходить страницы, заданные в окне «Список URL».
     
    Bnopen, 9 апр 2013
    #7
  8. Mix-magazin

    Mix-magazin

    Регистрация:
    29 мар 2013
    Сообщения:
    23
    Симпатии:
    7
    Проверил ошибок нет. В том- то и вопрос может я роботу запретил посещать то, что нужно посетить...[/quote]
     
    Mix-magazin, 9 апр 2013
    #8
  9. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.264
    Симпатии:
    534
    Mix-magazin, так введите в список урл свои категории и товары, он Вам покажет все, например -

    Если все разрешено, то надо ждать апдейта выдачи и брать ссылки на сайт, как уже писали выше.
    и вы где брали этот robots.txt? это не стандартный, который на сборке максисторе. Не могу понять что это за запись - /index.php?route=prod и зачем она в роботсе?
     
    Bnopen, 9 апр 2013
    #9
  10. Mix-magazin

    Mix-magazin

    Регистрация:
    29 мар 2013
    Сообщения:
    23
    Симпатии:
    7
    robots.txt здесь где-то брал, не помню уже. Я вообще не пойму как и что надо прописать. Я так понял все то ,что у меня сейчас robots.txt -это запрещено для посещения?
     
    Mix-magazin, 9 апр 2013
    #10
  11. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.264
    Симпатии:
    534
    Mix-magazin, все что с директивой Disallow - это запрещено к индексации. Есть старый и добрый сайт, на котором можно узнать все о файле robots.txt -
    [​IMG]

     
    Bnopen, 9 апр 2013
    #11
  12. Дмитрич

    Дмитрич

    Регистрация:
    10 апр 2014
    Сообщения:
    191
    Симпатии:
    23
    Добрый день!
    Подскажите, пожалуйста, что закрывает строка:
    Disallow: *request-return

    Из-за неё у меня не индексируется каталог /download/ в котором прайсы. Даже через Allow не смог снять запрет, а просто убрать не хочу, не понимая её смысла.
     
    Дмитрич, 14 фев 2016
    #12
  13. sergey1985

    sergey1985

    Регистрация:
    31 дек 2015
    Сообщения:
    18
    Симпатии:
    0
    А мой Robots.txt правильно указан для индексации
    --- Добавлено, 14 фев 2016 ---
    Для гугла что нужно указывать в robots ???
     
    Lasted edited by : 17 фев 2016
    sergey1985, 14 фев 2016
    #13
  14. bloodlight

    bloodlight

    Регистрация:
    24 мар 2013
    Сообщения:
    46
    Симпатии:
    58
    Для гугла можно не указывать, он вообще, лично на моей практике, его не смотрит, и индексирует все что только можно и не можно.
     
    bloodlight, 15 фев 2016
    #14
  15. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Ничего. Сейчас ваш роботс предназначен для всех поисковиков, в том числе и Гугла и нет необходимости указывать отдельные директивы.

    Это взгляд чайника. Есть такие понятия, как основной и дополнительный индекс. Если не использовать роботс, Гугл будет на своё усмотрение разделять страницы между этими индексами, что может привести к тому, что в основном индексе (выдаче) будут мусорные страницы, а в дополнительном - страницы, которые должны быть в поиске. Плюс, в случае доступности одной и той же страницы по ЧПУ и без него, Гугл во-первых, опять же на своё усмотрения, выберет, какую версию показать в выдаче, а во-вторых, посчитает вторую версию дублем.

    Это строка закрывает страницу возврата товара.
    Из-за неё не может не индексироваться download. Покажите весь текст вашего роботса.
     
    Dotrox, 15 фев 2016
    #15
    cobalt и Дмитрич нравится это.
  16. sergey1985

    sergey1985

    Регистрация:
    31 дек 2015
    Сообщения:
    18
    Симпатии:
    0
    Ребят такой роботс что скажите для магазина opencart

     
    Lasted edited by : 17 фев 2016
    sergey1985, 16 фев 2016
    #16
  17. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Какой-то идиотский роботс. По идее, в ОК он вообще ничего не блокирует. Плюс бессмысленное разделение директив для каждого робота в отдельности.
     
    Dotrox, 17 фев 2016
    #17
  18. cotto51rus

    cotto51rus

    Регистрация:
    3 янв 2016
    Сообщения:
    232
    Симпатии:
    8
    Помогите, пожалуйста, кто сможет
    Решила проверить сайт на ошибки, выдал 4 проблемы, а вот две важные, но не понимаю в чем именно..
    И смотрю за две недели проиндексировал только одну страницу авторизация, я грешным делом подумала, не исключены ли из индексации мои товары и категории с подкатегориями? как проверить?
    Прилагаю скрины:
    https://yadi.sk/i/BuJWEeg_p4BHg
    https://yadi.sk/i/y65K5xOPp4BHp
    И еще вот что.. Раньше был сайт с таким же доменом как у меня.. я к нему отношения никакого не имею, а Яндекс пишет что это мой сайт и историю на переходы робота прошлого года показывает у меня в истории, хотя мой сайт существует 3 месяца, ну никак не два года и более..
    А вот содержимое файла robots.txt:
    User-agent: *
    Allow: /*png
    Allow: /image/cache
    Disallow: /admin
    Disallow: /cache
    Disallow: /niks
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword

    User-agent: Yandex
    Allow: /*png
    Allow: /image/cache
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Clean-param: tracking
    Host: loress.ru

    Sitemap: http://loress.ru/index.php?route=feed/google_sitemap
     
    cotto51rus, 18 фев 2016
    #18
  19. karina

    karina

    Регистрация:
    7 апр 2013
    Сообщения:
    80
    Симпатии:
    15
    Вообще для лучше индексации, когда robots правильно написан можно использовать прогоны по соц. сетям и твиттеру, в течении 1-3 дней сайт попадал в индекс яндекса
     
    karina, 18 фев 2016
    #19
    cotto51rus нравится это.
  20. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Сайт - это домен, а вся внутренняя начинка поисковики не интересует. По этой причине всегда стоит проверять историю домена перед покупкой, может оказаться, что он освободился из-за того, что забанен поисковиками.


    Прежде, чем паниковать, надо подождать хотя бы 2 месяца - Яндекс очень тормознутый в плане индексации. Можете воспользоваться советом выше по ускорению индексации, хуже от этого точно не будет (главное не переборщить с количеством ссылок).

    В роботсе проблем нет, но страницу входа нужно закрыть.
     
    Dotrox, 19 фев 2016
    #20
    karina нравится это.
Страница 1 из 2
< SEO и пагинация | how to add json error >