Индексация сайта

Тема в разделе "OpenCart", создана пользователем Graund, 26 фев 2015.

  1. Graund

    Graund

    Регистрация:
    24 мар 2013
    Сообщения:
    132
    Симпатии:
    3
    Подскажите, зашел на страницу анализа сайта, а там показывает, что индексация Яндексом прошла только одной страницы, может что в robots.txt что то не так?
    Код:
    # main section
    User-agent:*
    Crawl-delay: 0
    # End of main section
    
    # Images section
    User-agent: Yandex/1.01.001 (compatible; Win16; P)
    Disallow: /
    User-agent: Googlebot-Image
    Disallow: /
    User-agent: yahoo-mmcrawler
    Disallow: /
    User-agent: psbot
    Disallow: /
    # End of images section
    
    # disallow for main site downloaders section\nUser-agent: Aqua_Products
    Disallow: /
    
    User-agent: asterias
    Disallow: /
    
    User-agent: b2w/0.1
    Disallow: /
    
    User-agent: BackDoorBot/1.0
    Disallow: /
    
    User-agent: Black Hole
    Disallow: /
    
    User-agent: BlowFish/1.0
    Disallow: /
    
    User-agent: Bookmark search tool
    Disallow: /
    
    User-agent: BotALot
    Disallow: /
    
    User-agent: BuiltBotTough
    Disallow: /
    
    User-agent: Bullseye/1.0
    Disallow: /
    
    User-agent: BunnySlippers
    Disallow: /
    
    User-agent: Cegbfeieh
    Disallow: /
    
    User-agent: CheeseBot
    Disallow: /
    
    User-agent: CherryPicker
    Disallow: /
    
    User-agent: CherryPicker /1.0
    Disallow: /
    
    User-agent: CherryPickerElite/1.0
    Disallow: /
    
    User-agent: CherryPickerSE/1.0
    Disallow: /
    
    User-agent: CopyRightCheck
    Disallow: /
    
    User-agent: cosmos
    Disallow: /
    
    User-agent: Crescent
    Disallow: /
    
    User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
    Disallow: /
    
    User-agent: DittoSpyder
    Disallow: /
    
    User-agent: EmailCollector
    Disallow: /
    
    User-agent: EmailSiphon
    Disallow: /
    
    User-agent: EmailWolf
    Disallow: /
    
    User-agent: EroCrawler
    Disallow: /
    
    User-agent: ExtractorPro
    Disallow: /
    
    User-agent: FairAd Client
    Disallow: /
    
    User-agent: Flaming AttackBot
    Disallow: /
    
    User-agent: Foobot
    Disallow: /
    
    User-agent: Gaisbot
    Disallow: /
    
    User-agent: GetRight/4.2
    Disallow: /
    
    User-agent: grub
    Disallow: /
    
    User-agent: grub-client
    Disallow: /
    
    User-agent: Harvest/1.5
    Disallow: /
    
    User-agent: hloader
    Disallow: /
    
    User-agent: httplib
    Disallow: /
    
    User-agent: humanlinks
    Disallow: /
    
    User-agent: InfoNaviRobot
    Disallow: /
    
    User-agent: Iron33/1.0.2
    Disallow: /
    
    User-agent: JennyBot
    Disallow: /
    
    User-agent: Kenjin Spider
    Disallow: /
    
    User-agent: Kenjin Spider
    Disallow: /
    
    User-agent: Keyword Density/0.9
    Disallow: /
    
    User-agent: larbin
    Disallow: /
    
    User-agent: LexiBot
    Disallow: /
    
    User-agent: libWeb/clsHTTP
    Disallow: /
    
    User-agent: LinkextractorPro
    Disallow: /
    
    User-agent: LinkScan/8.1a Unix
    Disallow: /
    
    User-agent: LinkWalker
    Disallow: /
    
    User-agent: LNSpiderguy
    Disallow: /
    
    User-agent: lwp-trivial
    Disallow: /
    
    User-agent: lwp-trivial/1.34
    Disallow: /
    
    User-agent: Mata Hari
    Disallow: /
    
    User-agent: Microsoft URL Control
    Disallow: /
    
    User-agent: Microsoft URL Control - 5.01.4511
    Disallow: /
    
    User-agent: Microsoft URL Control - 6.00.8169
    Disallow: /
    
    User-agent: MIIxpc
    Disallow: /
    
    User-agent: MIIxpc/4.2
    Disallow: /
    
    User-agent: Mister PiX
    Disallow: /
    
    User-agent: moget
    Disallow: /
    
    User-agent: moget/2.1
    Disallow: /
    
    User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
    Disallow: /
    
    User-agent: MSIECrawler
    Disallow: /
    
    User-agent: NetAnts
    Disallow: /
    
    User-agent: NetMechanic
    Disallow: /
    
    User-agent: NICErsPRO
    Disallow: /
    
    User-agent: Offline Explorer
    Disallow: /
    
    User-agent: Openbot
    Disallow: /
    
    User-agent: Openfind
    Disallow: /
    
    User-agent: Openfind data gathere
    Disallow: /
    
    User-agent: Oracle Ultra Search
    Disallow: /
    
    User-agent: PerMan
    Disallow: /
    
    User-agent: ProPowerBot/2.14
    Disallow: /
    
    User-agent: ProWebWalker
    Disallow: /
    
    User-agent: Python-urllib
    Disallow: /
    
    User-agent: QueryN Metasearch
    Disallow: /
    
    User-agent: Radiation Retriever 1.1
    Disallow: /
    
    User-agent: RepoMonkey
    Disallow: /
    
    User-agent: RepoMonkey Bait & Tackle/v1.01
    Disallow: /
    
    User-agent: RMA
    Disallow: /
    
    User-agent: searchpreview
    Disallow: /
    
    User-agent: SiteSnagger
    Disallow: /
    
    User-agent: SpankBot
    Disallow: /
    
    User-agent: spanner
    Disallow: /
    
    User-agent: suzuran
    Disallow: /
    
    User-agent: Szukacz/1.4
    Disallow: /
    
    User-agent: Teleport
    Disallow: /
    
    User-agent: TeleportPro
    Disallow: /
    
    User-agent: Telesoft
    Disallow: /
    
    User-agent: The Intraformant
    Disallow: /
    
    User-agent: TheNomad
    Disallow: /
    
    User-agent: TightTwatBot
    Disallow: /
    
    User-agent: Titan
    Disallow: /
    
    User-agent: toCrawl/UrlDispatcher
    Disallow: /
    
    User-agent: True_Robot
    Disallow: /
    
    User-agent: True_Robot/1.0
    Disallow: /
    
    User-agent: turingos
    Disallow: /
    
    User-agent: URL Control
    Disallow: /
    
    User-agent: URL_Spider_Pro
    Disallow: /
    
    User-agent: URLy Warning
    Disallow: /
    
    User-agent: VCI
    Disallow: /
    
    User-agent: VCI WebViewer VCI WebViewer Win32
    Disallow: /
    
    User-agent: Web Image Collector
    Disallow: /
    
    User-agent: WebAuto
    Disallow: /
    
    User-agent: WebBandit
    Disallow: /
    
    User-agent: WebBandit/3.50
    Disallow: /
    
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Host: site.ru
    Sitemap: http://intertoolpro.ru/sitemap.xml
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/
    User-agent: YandexImages
    Allow: /wp-content/uploads/
     
    Lasted edited by : 26 фев 2015
  2. Respekt2012

    Respekt2012

    Регистрация:
    12 июн 2013
    Сообщения:
    79
    Симпатии:
    10
    Для чего прописано столько
    Disallow: / ???
     
  3. Graund

    Graund

    Регистрация:
    24 мар 2013
    Сообщения:
    132
    Симпатии:
    3
    Этого я то же хочу знать. Не сам придумывал, а рекомендованный. Вот теперь и столкнулся с проблемой, что индексируется только 1 страница
     
  4. Pelmen2

    Pelmen2

    Регистрация:
    26 янв 2015
    Сообщения:
    169
    Симпатии:
    14
    вроде вот эта строчка
    # disallow for main site downloaders section\nUser-agent: Aqua_Products
    Disallow: /
    но для начала убери все запрещающие. юзер-агент подделывается в 2 счёта, а проблем создаёт владельцу сайта больше
     
  5. Respekt2012

    Respekt2012

    Регистрация:
    12 июн 2013
    Сообщения:
    79
    Симпатии:
    10
    Я бы оставил в таком виде
    Код:
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Host: site.ru
    Sitemap: http://intertoolpro.ru/sitemap.xml
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/
    User-agent: YandexImages
    Allow: /wp-content/uploads/
     
  6. Pelmen2

    Pelmen2

    Регистрация:
    26 янв 2015
    Сообщения:
    169
    Симпатии:
    14
    Думаешь, опенкарт будут пытаться ломать под видом вордпресс ?
     
  7. Graund

    Graund

    Регистрация:
    24 мар 2013
    Сообщения:
    132
    Симпатии:
    3
    есть еще мнение? Или вставить предложенный Respekt2012?
     
  8. Respekt2012

    Respekt2012

    Регистрация:
    12 июн 2013
    Сообщения:
    79
    Симпатии:
    10
    Код:
    User-agent: * (Обращение ко всем поисковикам)
    Disallow: /cgi-bin  (Disallow - это закрытие от индексации папок или файлов)
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    User-agent: Yandex (Обращение к поисковику Яндекс)
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Host: site.ru (Основной домен)
    Sitemap: http://intertoolpro.ru/sitemap.xml (Карта сайта)
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/  (Разрешаешь заглядывать Googlee-Image)
    User-agent: YandexImages
    Allow: /wp-content/uploads/  (Разрешаешь заглядывать YandexImages)
    Как по мне даже эти две строчки не нужны все что надо было закрыть ты уже указал
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/ (Разрешаешь заглядывать Googlee-Image)
    User-agent: YandexImages
    Allow: /wp-content/uploads/ (Разрешаешь заглядывать YandexImages)
     
  9. fanton123

    fanton123

    Регистрация:
    24 дек 2012
    Сообщения:
    256
    Симпатии:
    29
    Ответ: в robots.txt все не так. Ставь стандартный!
     
  10. Respekt2012

    Respekt2012

    Регистрация:
    12 июн 2013
    Сообщения:
    79
    Симпатии:
    10
    ну если ставить стандартный Wordpress наплодид дублей. потом разгребать прийдется
     
  11. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.155
    Симпатии:
    514
    Graund, а стандартный для opencart, не? Зачем такие извращения? Без роботс.тхт движок определяется на раз. Усложняете все, а потом жалуетесь, что ничего не индексируется, потом будет ничего не вылазит в топ....и т.д.
     
    Последнее редактирование: 26 фев 2015
  12. Graund

    Graund

    Регистрация:
    24 мар 2013
    Сообщения:
    132
    Симпатии:
    3
  13. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.155
    Симпатии:
    514
  14. Graund

    Graund

    Регистрация:
    24 мар 2013
    Сообщения:
    132
    Симпатии:
    3
    переделал сайтмап, robot.txt, сделал редирект, через некоторое время прошелся робот Яндекса и все равно индексация прошла одной страницы, я так понимаю главной. Куда еще можно залезть?
     
  15. Graund

    Graund

    Регистрация:
    24 мар 2013
    Сообщения:
    132
    Симпатии:
    3
    7 марта прошелся Яндекс робот, и опять та же ситуация, проиндексирована одна страница. Что делать?