Заблокировано в файле robots.txt 602

Тема в разделе "Поисковые системы", создана пользователем MGT1, 4 дек 2016.

  1. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    Сайт


    Хочу понять все ли правильно что сколько заблокировано для сканирования?

    Проиндексировано всего 959
    Заблокировано в файле robots.txt 602
    Страницы с заблокированными ресурсами 126



    файл робот
    PHP:
    User-agent: *
    Disallow/*index.php*
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=
    Disallow: /*?tracking=
    Disallow: /*&tracking=
    Allow: /catalog/*.css
    Allow: /catalog/*.js
    Allow: /catalog/*.png
    Allow: /catalog/*.gif

    User-agent: Yandex
    Disallow: /*index.php*
    Disallow: /*route=account/
    Disallow: /*route=affiliate/
    Disallow: /*route=checkout/
    Disallow: /*route=product/search
    Disallow: /index.php?route=product/product*&manufacturer_id=
    Disallow: /admin
    Disallow: /catalog
    Disallow: /download
    Disallow: /system
    Disallow: /*?sort=
    Disallow: /*&sort=
    Disallow: /*?order=
    Disallow: /*&order=
    Disallow: /*?limit=
    Disallow: /*&limit=
    Disallow: /*?filter_name=
    Disallow: /*&filter_name=
    Disallow: /*?filter_sub_category=
    Disallow: /*&filter_sub_category=
    Disallow: /*?filter_description=
    Disallow: /*&filter_description=

    Host: setka24.com
    Sitemap: http://setka24.com/sitemap.xml
    Sitemap: http://setka24.com/index.php?route=feed/blog_sitemap
     
    Последнее редактирование: 4 дек 2016
  2. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    Это не сайтмап, а роботс. Вроде, всё правильно, но на счёт двух директив Sitemap есть сомнения.

    И почему бы для Яндекса не продублировать
    Код:
    Allow: /catalog/*.css
    Allow: /catalog/*.js
    Allow: /catalog/*.png
    Allow: /catalog/*.gif
     
    MGT1 нравится это.
  3. MGT1

    MGT1

    Регистрация:
    5 янв 2013
    Сообщения:
    900
    Симпатии:
    218
    Исправил. Ну на счет 2-х деректив думаю. Так как стоит Блогменеджер, у него свой сайтмап.

    В принципе кастомно я внес в паладин

    --- Добавлено, 4 дек 2016 ---
    Но этот выдает совсем другою картинку

    --- Добавлено, 4 дек 2016 ---
    Сведения о файле Sitemap

    Файл Sitemap: /index.php?route=feed/blog_sitemap

    При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
    URL, запрещенный файлом robots.txt

    Вот почему его не индексирует.