Проблема с индексированием robots.txt sitemap

Тема в разделе "PrestaShop", создана пользователем alphadoccer, 29 сен 2016.

  1. alphadoccer

    alphadoccer

    Регистрация:
    5 сен 2016
    Сообщения:
    22
    Симпатии:
    0
    гугл пишет, что не может индексировать sitemap, 1178 предупреждений
    как обычно генерирую через seo&urls никто не знает в чем проблема?
    в поисковике пишет
    SFY Интернет-магазин спорт товаров
    sfy.pp.ua/
    Описание недоступно из-за ограничений в файле robots.txt.

    кто знает как исправить?
    Код:
    # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
    # http://www.prestashop.com - http://www.prestashop.com/forums
    # This file is to prevent the crawling and indexing of certain parts
    # of your site by web crawlers and spiders run by sites like Yahoo!
    # and Google. By telling these "robots" where not to go on your site,
    # you save bandwidth and server resources.
    # For more information about the robots.txt standard, see:
    # http://www.robotstxt.org/robotstxt.html
    User-agent: *
    # Allow Directives
    Allow: */modules/*.css
    Allow: */modules/*.js
    # Private pages
    Disallow: /*?orderby=
    Disallow: /*?orderway=
    Disallow: /*?tag=
    Disallow: /*?id_currency=
    Disallow: /*?search_query=
    Disallow: /*?back=
    Disallow: /*?n=
    Disallow: /*&orderby=
    Disallow: /*&orderway=
    Disallow: /*&tag=
    Disallow: /*&id_currency=
    Disallow: /*&search_query=
    Disallow: /*&back=
    Disallow: /*&n=
    Disallow: /*controller=addresses
    Disallow: /*controller=address
    Disallow: /*controller=authentication
    Disallow: /*controller=cart
    Disallow: /*controller=discount
    Disallow: /*controller=footer
    Disallow: /*controller=get-file
    Disallow: /*controller=header
    Disallow: /*controller=history
    Disallow: /*controller=identity
    Disallow: /*controller=images.inc
    Disallow: /*controller=init
    Disallow: /*controller=my-account
    Disallow: /*controller=order
    Disallow: /*controller=order-opc
    Disallow: /*controller=order-slip
    Disallow: /*controller=order-detail
    Disallow: /*controller=order-follow
    Disallow: /*controller=order-return
    Disallow: /*controller=order-confirmation
    Disallow: /*controller=pagination
    Disallow: /*controller=password
    Disallow: /*controller=pdf-invoice
    Disallow: /*controller=pdf-order-return
    Disallow: /*controller=pdf-order-slip
    Disallow: /*controller=product-sort
    Disallow: /*controller=search
    Disallow: /*controller=statistics
    Disallow: /*controller=attachment
    Disallow: /*controller=guest-tracking
    # Directories
    Disallow: */classes/
    Disallow: */config/
    Disallow: */download/
    Disallow: */mails/
    Disallow: */modules/
    Disallow: */translations/
    Disallow: */tools/
    # Files
    Disallow: /*password-recovery
    Disallow: /*address
    Disallow: /*addresses
    Disallow: /*authentication
    Disallow: /*cart
    Disallow: /*discount
    Disallow: /*order-history
    Disallow: /*identity
    Disallow: /*my-account
    Disallow: /*order-follow
    Disallow: /*order-slip
    Disallow: /*order
    Disallow: /*search
    Disallow: /*quick-order
    Disallow: /*guest-tracking
    # Sitemap
    Sitemap: http://sfy.pp.ua/1_index_sitemap.xml
     
    Lasted edited by : 29 сен 2016
  2. YoYo

    YoYo

    Регистрация:
    20 июл 2016
    Сообщения:
    121
    Симпатии:
    28
    Я то же не могу...

    Потому что в robots.txt:
    # Sitemap
    Sitemap: http://sfy.pp.ua/1_index_sitemap.xml

    А по факту: http://sfy.pp.ua/1_ru_0_sitemap.xml

    <sitemapindex>
    <sitemap>
    <loc>http://sfy.pp.ua/1_ru_0_sitemap.xml</loc>
    <lastmod>2016-09-29T15:18:42+03:00</lastmod>
    </sitemap>
    </sitemapindex>
     
    alphadoccer нравится это.
  3. sheffman

    sheffman

    Регистрация:
    28 сен 2016
    Сообщения:
    28
    Симпатии:
    8
    Это не страшно. роботы по сайтмапу идут на сколько угодно уровней вложенности
    alphadoccer, 1) добавьте директиву host в robots.txt : host http://sfy.pp.ua 2) что выдает гугловкий инструмент проверки файла robots.txt ? 3) что выдает вебконсоль по файлу sitemap (ошибки/ предупреждения) 4) добавлен ли сам сайт в вебконсоль гугла?
     
  4. YoYo

    YoYo

    Регистрация:
    20 июл 2016
    Сообщения:
    121
    Симпатии:
    28
    Ау ) Вы заходили по урлам Sitemap? Зачем человека грузить? Он просто не тот путь к карте прописал.
     
    alphadoccer нравится это.
  5. apelsinov

    apelsinov

    Регистрация:
    12 янв 2014
    Сообщения:
    27
    Симпатии:
    6
    он изначально неправильно формируется. Там была какая то ошибка и я исправлял в модуле, чтоб формировались ссылки правильно.
     
  6. alphadoccer

    alphadoccer

    Регистрация:
    5 сен 2016
    Сообщения:
    22
    Симпатии:
    0
    Проблем нет, но теперь не индексирует вообще, на 302 остановилось и все(
    --- Добавлено, 1 окт 2016 ---
    А поподробнее можно, если не сложно?)
    а поподробнее можно, если не сложно?)
     
  7. YoYo

    YoYo

    Регистрация:
    20 июл 2016
    Сообщения:
    121
    Симпатии:
    28
    В robots.txt прописали, по http://sfy.pp.ua/1_ru_0_sitemap.xml открывается.

    Из Яндекса вылетел. Надо через Я.Вебмастер добавить, там же инструмент на проверку sitemap.xml есть.

    Это как? Откуда и куда редирект? Зачем?

    Смысл в чём:
    1. Проверить sitemap.xml на наличие ошибок в Я.Вебмастер.
    2. Удалить из панелей вебмастеров старый урл на карту
    3. Прописать в панелях вебмастеров и роботс.тхт http://sfy.pp.ua/1_ru_0_sitemap.xml
    Ну и всё. А вы редиректили со старой ссылки карты сайта на новую?
    А, и поставьте себе RDS bar.
     
    alphadoccer нравится это.
  8. Bogdan-softer

    Bogdan-softer

    Регистрация:
    7 ноя 2015
    Сообщения:
    32
    Симпатии:
    6
    Можно вообще не указывать в роботс ссылку на сайтмап. В Вебмастере Яндекса и серчконсоли гугла укажите сайтмап.