[Помогите] Вопрос по robots.txt

Тема в разделе "OpenCart", создана пользователем FOX864, 1 дек 2013.

  1. FOX864

    FOX864

    Регистрация:
    20 ноя 2012
    Сообщения:
    85
    Симпатии:
    1
    Вообщем проблема вот в чем у меня 4200 страниц в карте сайта с начало так и было в индексе яшке но потом что-то правиле не помню в robots.txt и теперь осталось 2400 страниц в поиске прошу помощи глянуть может что-то важное прикрыто.

    robots.txt
     
  2. AnOcToJI

    AnOcToJI

    Регистрация:
    28 дек 2012
    Сообщения:
    309
    Симпатии:
    188
    врядли вам скажут что-то не зная структуры сайта к примеру зачем и почему были закрыто вот это от индексации

    Disallow: /index.php?*
    Disallow: /index.php?route=product*
    Disallow: /index.php?route=caregory*
    Disallow: /?page=*
     
  3. Alexandr

    Alexandr

    Регистрация:
    6 ноя 2012
    Сообщения:
    179
    Симпатии:
    52
    Логично же, у человека включен seo-pro, чтобы избавиться от дублей.
     
  4. AnOcToJI

    AnOcToJI

    Регистрация:
    28 дек 2012
    Сообщения:
    309
    Симпатии:
    188
    в том то и дело, что результатом аж двукратного уменьшения в яндексе, может являться именно данные строчки, дублей то нету же
     
  5. udaff

    udaff

    Регистрация:
    3 янв 2013
    Сообщения:
    139
    Симпатии:
    28
    Надо наверное ориентироваться на количество товаров\статей.
    Если товаров 4000+, то есть проблема, а если товаров 2000+, то все стало в порядке)
    А так, могло выключить и кучу фильтров и тэгов поиска и тд..
     
  6. FOX864

    FOX864

    Регистрация:
    20 ноя 2012
    Сообщения:
    85
    Симпатии:
    1
    не в этом дело это поставили после уже как страницы по вылетали.
    Начали они вылетать кстати после того как чпу ссылки сделали вспоминается мне.... до этого с обычными норм было но правда и сайт был тогда молодой.

    вообщем не понятно =(
    --- Добавлено, 1 дек 2013 ---
    2081 товаров которые в наличии может с этим связано которые не в наличии не индексирует хотя бред.

    4733 всего товаров в админке включенных.

    страниц в карте сайта 4850

    в индексе сейчас 2478


    веб мастер так показывает

    Страниц в поиске [​IMG]2478

    Дата последнего посещения сайта роботом28.11.2013
    Загружено роботом10086


    Страницы запрещены к индексированию вебмастером или не существуют
    HTTP-статус: Ресурс не найден (404) [​IMG]57
    Документ запрещен в файле robots.txt [​IMG]2948
    Документ является неканоническим [​IMG]583


    Прикол в том что во всех исключенных нету тех страниц которых нет в индексе вообще. Прикол да?)
     
    Последнее редактирование: 1 дек 2013
  7. vodopyanov

    vodopyanov

    Регистрация:
    10 окт 2013
    Сообщения:
    41
    Симпатии:
    15
    веб мастер тупит бывает проверяй так:
    открываешь поисковик и пишешь site:твой.сайт и увидишь реальное количество в индексе
    sitemap: http://site.ru/sitemap/sitemap.xml и не понятно почему сайтмэп такой