1. Уважаемые пользователи, Регистрация временно отлючена!
    Скрыть объявление

robots.txt

Тема в разделе "OpenCart", создана пользователем ferments, 12 дек 2012.

Страница 1 из 2
  1. ferments

    ferments

    Регистрация:
    8 ноя 2012
    Сообщения:
    115
    Симпатии:
    2
    Всем привет! Может кто подскажет как грамотно сделать robots.txt
    Какие у вас варианты ?

    У меня такой вариант есть
    User-agent: *
    Disallow: /admin
    Disallow: /cache
    Disallow: /niks
    Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword
    Host: host.ru

    Может есть что то лишние у меня ?
    Просто в google web masters в сайт мап пишет:это нормальна?

    Предупреждения
    Доступ к URL заблокирован в файле robots.txt.
    Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
    848    ​
     
    ferments, 12 дек 2012
    #1
  2. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.579
    Симпатии:
    1.482
    рекомендую добавить сайт в яндекс.вебмастер, у них есть проверка ссылок.. загружаете роботс, и вставляете ссылку на товар, жмёте на кнопку и проверяется доступность ссылки для ботов... таким образом можно отследить какие ссылки блокирует роботс.
     
    $iD, 12 дек 2012
    #2
  3. SerfRider

    SerfRider

    Регистрация:
    24 окт 2012
    Сообщения:
    24
    Симпатии:
    1
    Не забудь только сменить Host: host.ru на Host: вашсайт.ру
     
    SerfRider, 18 дек 2012
    #3
  4. OldAine

    OldAine

    Регистрация:
    26 окт 2012
    Сообщения:
    2
    Симпатии:
    14
    версия 1513
    мой роботс, вроде все гуд)

    Код:
    User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: www.САЙТ.ru
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Host: www.САЙТ.ru
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
 
Sitemap: http://www.САЙТ.ru/sitemap.xml
     
    OldAine, 18 дек 2012
    #4
  5. FOX864

    FOX864

    Регистрация:
    20 ноя 2012
    Сообщения:
    85
    Симпатии:
    1
    Вопрос звучит так страницы прыгают туда сюда в индексе яшке.

    Предыстория:

    Было 2 sitemap

    1) встроенный который в движке

    2) собственного производства

    вообщем идея была закрыть старый и только чтоб новый работал, в итоге сегодня опять улетело часть страниц из индекса.

    Вопрос строчка то что красным помечена могла повлиять на это?




     
    FOX864, 19 дек 2012
    #5
  6. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.579
    Симпатии:
    1.482
    из-за сайтмэпа страницы обычно не вылетают, сайтмэп способствует быстрой индексации, если бот зашел на сайт.
    + в каком поисковике проседание? если в Яше, то у него апы выдачи бывают 2-3 раза в неделю.

    я бы советовал воспользоваться вебмастером яндекса чтобы посмотреть схватывает ли у вас sitemap бот или нет.
     
    $iD, 19 дек 2012
    #6
  7. FOX864

    FOX864

    Регистрация:
    20 ноя 2012
    Сообщения:
    85
    Симпатии:
    1
    Да апы вижу просто понять не могу началось как сделал seo страницы и прописал каноничность сделал и закрыл index те что не seo url мапу в вебмастере хватает нормально.
     
    FOX864, 19 дек 2012
    #7
  8. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.579
    Симпатии:
    1.482
    посмотрите какие ссылки сейчас живут в выдаче, с index.php или уже нормальный ЧПУ.
    + из-за смены ссылок может быть проседание, надо подождать обновления и тогда должно всё встать на свои места.
     
    $iD, 19 дек 2012
    #8
  9. FOX864

    FOX864

    Регистрация:
    20 ноя 2012
    Сообщения:
    85
    Симпатии:
    1
    Страниц в поиске 1023​


    sitemap.xml

    Используется при обходе [​IMG]
    Версия от 6.12.2012
    Содержит 4597 страниц

    но так уже месяца 4 страницы то в + 700 то в минус раньше когда не было seo url было 6000 в индексе после установке улетело с начало до 4000 потом до 2000 потом а сейчас во все 1023. с платоном общался сказал фильтров нет тип все будет ждите но пол года по моему что то не так у меня..
    --- добавлено: 18 дек 2012 в 21:43 ---
    /index таких в индексе нету только осталось часть в

    Документ является неканонически 1699 но они снижаются с каждым апдейтом а новые то приходят т о у ходят обычно уходят больше.


    стоп вру Документ является неканонически там как раз нужные ссылки весят.
    --- добавлено: 18 дек 2012 в 21:48 ---
    Но там везде тег прописан.
    --- добавлено: 18 дек 2012 в 21:52 ---
    а всего в sitemap.xml у меня прописано
    4705 url вот они все должны быть в поиске и получается не хватает 3682 в индексе я уже 4 месяца борюсь не могу понять вчем дело вылетели за секунду а входят то выходят +-700 ссылок но в + не чего не идет.
    --- добавлено: 18 дек 2012 в 21:52 ---
    Помогите пожалуйста очень нуждаюсь.
     
    FOX864, 19 дек 2012
    #9
  10. Lion18

    Lion18

    Регистрация:
    3 дек 2012
    Сообщения:
    256
    Симпатии:
    36
    FOX864, ну и зачем запрещать ботам сканить сайтмап? Если вы хотите скармить нужную вам карту, лучше первую измените в расширении, что б бот не нашел.Он парень коварный запишет страницы в 404 или дубль, может еще чего.)
    Конечно это влияет на индексацию.Карта существует для ускарения индексации, роботс.тхт для блокировки/разрешения той или иной ветки индексации.
    Вы же с лёгкостью найдёте пожарный выход по карте чем без нее верно?,)
    То что страницы вылетают, влиять может много факторов в том числе дубли, здесь сеошник нужен или чтение соответствующей литературы.
     
    Lion18, 19 дек 2012
    #10
    FOX864 нравится это.
  11. FOX864

    FOX864

    Регистрация:
    20 ноя 2012
    Сообщения:
    85
    Симпатии:
    1
    последнею строчку тоже надо было посмотреть.

    у меня беда с robots.txt если есть люди кто умеет составлять прошу на писать мне в лк.
    --- добавлено: 18 дек 2012 в 22:50 ---
    хм идея а может так сделать в .htaccess прописать Redirect 301 /sitemap.xml http://site.ru/sitemap/sitemap.xml

    а в robots.txt оставить только sitemap: http://site.ru/sitemap/sitemap.xml
     
    FOX864, 19 дек 2012
    #11
  12. cobalt

    cobalt

    Регистрация:
    18 окт 2012
    Сообщения:
    278
    Симпатии:
    128
    А зачем? Чем Ваш новый лучше встроенного?
    Что-то уж очень я сомневаюсь, что из-за изменения карты сайта могли повылетать страницы. Карта сайта помогает найти страницы, но не гарантирует, что робот именно по ней и пойдёт. Но она уж точно ничего не запрещает. Если страница была проиндексирована ранее - совершенно неважно, есть она в карте сайта, или нет. Робот будет проверять наличие/изменение страницы по прямой, уже проиндексированной ссылке.
    В роботсе у Вас не в том блоке указана директива Host. Её понимает только Яндекс, поэтому её и надо писать в блоке для Яндекса. А у Вас она есть для всех, кроме Яндекса.
     
    cobalt, 19 дек 2012
    #12
    FOX864 нравится это.
  13. SerfRider

    SerfRider

    Регистрация:
    24 окт 2012
    Сообщения:
    24
    Симпатии:
    1
    Подскажите, для рускоязычных доменов строчка в формате "Host: вашсайт.рф" прокатит, робот её поймёт?
     
    SerfRider, 19 дек 2012
    #13
  14. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.579
    Симпатии:
    1.482
    да
     
    $iD, 19 дек 2012
    #14
  15. FOX864

    FOX864

    Регистрация:
    20 ноя 2012
    Сообщения:
    85
    Симпатии:
    1
    Спасибо про хост.

    Про мапу стандартную скажу так , почему то на нее ругался яндес на кодировку хотя она была верна, а то что у меня она идеально везде проверяется сервесами.
    --- добавлено: 19 дек 2012 в 18:41 ---
     
    FOX864, 19 дек 2012
    #15
    Lion18 нравится это.
  16. Lion18

    Lion18

    Регистрация:
    3 дек 2012
    Сообщения:
    256
    Симпатии:
    36
    на до бы рассмотреть создание файла роботс под сео преобразованием ссылок в читаемом виде...
     
    Lion18, 20 дек 2012
    #16
    FOX864 нравится это.
  17. FOX864

    FOX864

    Регистрация:
    20 ноя 2012
    Сообщения:
    85
    Симпатии:
    1
    Да было б не плохо.
     
    FOX864, 20 дек 2012
    #17
  18. SerfRider

    SerfRider

    Регистрация:
    24 окт 2012
    Сообщения:
    24
    Симпатии:
    1
    мой роботс

    User-agent: *
    Disallow: /admin
    Disallow: /cache
    Disallow: /niks
    Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /index.php?route=account
    Disallow: /index.php?route=account/account
    Disallow: /index.php?route=checkout/cart
    Disallow: /index.php?route=checkout/shipping
    Disallow: /index.php?route=common/home
    Disallow: /index.php?route=product/product/captcha
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /index.php?route=product/search
    Disallow: /index.php?route=information/contact/captcha
    Disallow: /index.php?route=information/information&information_id=
    Disallow: /index.php?route=account/login
    Disallow: /*route=account/
    Disallow: /*route=account/login
    Disallow: /*route=checkout/
    Disallow: /*route=checkout/cart
    Disallow: /*route=affiliate/
    Disallow: /*route=product/search
    Disallow: /*?sort=
    Disallow: /*?sort
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*?order
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Disallow: /*?manufacturer
    Disallow: /*?keyword
    Host: ляляля.рф

    User-agent: Yandex
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /catalog
    Disallow: /download
    Disallow: /export
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Clean-param: tracking
     
    SerfRider, 20 дек 2012
    #18
  19. cobalt

    cobalt

    Регистрация:
    18 окт 2012
    Сообщения:
    278
    Симпатии:
    128
    И та же ошибка. Host: ляляля.рф надо писать в блоке для Яндекса.
     
    cobalt, 20 дек 2012
    #19
  20. Lion18

    Lion18

    Регистрация:
    3 дек 2012
    Сообщения:
    256
    Симпатии:
    36
    Я сейчас заказчику делаю новый сайт.Закончу и в первых числах января начну писать его.
     
    Lion18, 20 дек 2012
    #20
Страница 1 из 2
< стоит ли переходить на opencart 1.5.4.1 со старой 1.4.9 | Форма обратной связи в Главном меню >