[Помогите] Чем парсить opencart для opencarta?

Тема в разделе "OpenCart", создана пользователем mr.Elias, 4 июл 2013.

  1. mr.Elias

    mr.Elias

    Регистрация:
    15 июн 2013
    Сообщения:
    269
    Симпатии:
    41
    Как и чем проще всего спарсить магазин-донор, сделанный на opencart для моего магазина opencart?
    Можно не только товары и категории :biggrin:

    Существует ли какой-либо метод отличный от Content Downloader и подобных?
    Может модуль какой-то?
    Спасибо!
     
  2. Алексаша

    Алексаша

    Регистрация:
    24 янв 2013
    Сообщения:
    120
    Симпатии:
    20
    Зачем что-то искать, Content Downloader - супер парсер, сам пользуюсь. Можно спарсить и в стандартный импорт/экспорт залить без особых трудов.
    Правда я другими парсерами не пользовался, но мне кажется CD - самый универсальный и на 100% рабочий. Лучше только - парсер на заказ под конкретный сайт.
     
    winner7 нравится это.
  3. winner7

    winner7

    Регистрация:
    6 мар 2013
    Сообщения:
    322
    Симпатии:
    55
    А где можно взять его бесплатно?
     
  4. Алексаша

    Алексаша

    Регистрация:
    24 янв 2013
    Сообщения:
    120
    Симпатии:
    20
    Лично у меня - лицензия(и не чуть не пожалел, часто нужно парсить). Парсер окупился на 1000% (не в коем случае не рекламирую) Но отдельные лица где-то брали. Честно я не знаю.
     
  5. ergoline

    ergoline

    Регистрация:
    23 ноя 2012
    Сообщения:
    214
    Симпатии:
    22
    в нете валялась старая версия - нагуглить можно.
    а так... можно на скидочнике прикупить чтоб дешевле было.
    это прога своих 20-30 уе (крму как повезет))) стоит
     
  6. Taker

    Taker

    Регистрация:
    2 дек 2012
    Сообщения:
    206
    Симпатии:
    143
    Content Downloader варезный работать не будет,можно даже не упираться искать.Проще заглянуть к ним на форум и рублей за 500 заказать парсинг.

    http://sbfactory.ru/?p=600
     
  7. mr.Elias

    mr.Elias

    Регистрация:
    15 июн 2013
    Сообщения:
    269
    Симпатии:
    41
    Какая у Вас лицензия? start, standard, EXTENDED?
    и как происходит импорт скачанного в БД опенкарта?
    если через CSV, подскажите какой CSV лучше всего работает?

    Спасибо!
     
  8. VeryGood

    VeryGood

    Регистрация:
    11 дек 2012
    Сообщения:
    216
    Симпатии:
    54
    Уж легче, кажется, за 1000 руб. купить лицензию и самому изучить софт. ИМХО, вещь нужная в хозяйстве.

    Изначально можете приобрести лицензию на 5 потоков, потом можно докупить потоки.
    Импорт происходит через CSV. Лично я пользуюсь Total Import Pro и он прекрасно справляется с задачей - заливал около 200к товаров + постоянно обновляю каталог.
     
    mr.Elias нравится это.
  9. Алексаша

    Алексаша

    Регистрация:
    24 янв 2013
    Сообщения:
    120
    Симпатии:
    20

    Лицензия не помню за 50 долларов которая
    Контент парсится по шаблону стандартного бесплатного импорта/экспорта, им и заливается.

    А то что вещь нужная в хозяйстве - так это 100 процентов
    В основном, кому делал магазы, все сначала говорят, что типа сами товар зальют, но когда товаров 200 из 10 000 забьют, обращаются ко мне))
     
  10. reese2006

    reese2006

    Регистрация:
    2 июл 2013
    Сообщения:
    12
    Симпатии:
    4
    Юзал ранее http://www.visualwebripper.com Простой. С кодом разбираться сильно не нужно. Все в визуальной оболочке делается, клацанием на картинки и т п. Обучающие видео прилагаются на сайте. В интернете найти можно рабочие. Если нет то скоро выложу.
     
  11. mr.Elias

    mr.Elias

    Регистрация:
    15 июн 2013
    Сообщения:
    269
    Симпатии:
    41
    у меня подвешивается бесплатный импорт-экспорт при большом количестве товаров, даже с минимальным описанием и без картинок. Тут надо построчный импорт решать.
    а лицензия у вас на 5 потоков я так понимаю. не медленно ли парсит?
     
  12. Алексаша

    Алексаша

    Регистрация:
    24 янв 2013
    Сообщения:
    120
    Симпатии:
    20
    Лицензия на 10 потоков, скорость парсинга зависит от многих факторов, в частности скорости сайта - донора. Но быстро - не всегда хорошо. Парсинг - таже ддос атака на сайт донор. Меня по молодости забанили по ай пи несколько сайтов. И тут возникает проблема, например, если ты с этим сайтом постоянно работаешь, нормальным способом он тебя не пустит. Теперь при парсинге я использую соединение через прокси - а это уже потеря скорости, плюс КД позволяет работать через прокси, список которых ты вводишь в него же, и если тебя забанили при скачке контента, парсер автоматически переключается на другой ай пи и работает уже с него. Чтоб не банили, еще увеличиваю время между запросами. Долго - да (относительно конечно, одна страница - 1 сек), но безопасно, можно быть уверенным что в следующий раз зайдешь на этот сайт. Если не париться и парсить на прямую без прокси соединений и ограничения по запросам: артикул-категория-товар-цена-характеристики-картинка тот же украинский югконтракт с 10к товарами обрабатывать 40-60 мин (зависит от звезд или луны =) )
     
    mr.Elias нравится это.
  13. mr.Elias

    mr.Elias

    Регистрация:
    15 июн 2013
    Сообщения:
    269
    Симпатии:
    41
    у тех же разработчиков есть "уникализатор" контента. думаю без него тоже не обойтись? слышал что яндекс последний год очень злостно разбирается с плагиаторами.
     
  14. Алексаша

    Алексаша

    Регистрация:
    24 янв 2013
    Сообщения:
    120
    Симпатии:
    20
    У меня был магазин электроники, многие страницы товара не индексировалась в яндексе, только статьи и главная страница. Это надо учитывать (прелесть контента добытого парсингом). Но у меня весь трафик шел по рекламе и моим визиткам, поисковики не были моей основной целью. Может быть этот "уникализатор" и нужен, главное чтоб он не работал по принципу переводчика гугл - тогда этот текст станет вообще нечитабельным. Естественно самый лучший контент - уникальный. Да - дорого, да - долго (особенно для электроники и бытовой техники где товаров за 10к если брать по 0,7 долл за позицию * 10 000 = 7 000 долл). Но магазин будет "крутой" для поисковиков. Поэтому тут уже многое зависит по какой цене Вы будете покупать товар, какая аудитория покупателей и сколько Вы будете продавать. Может проще купить парсер за 50 долл (которым при необходимости Вы будете заливать новый товар к уже заведенному) и поставить баннеров и бигбордов на 950 долл (7000долл - 1000долл=6000долл экономии). Но это все мысли, на самом деле не возьмусь говорить за уникализатор - не пробовал =)
     
  15. Toliamba

    Toliamba

    Регистрация:
    27 янв 2013
    Сообщения:
    191
    Симпатии:
    44
    Content Downloader однозначно, у меня тоже лицензия, кстати первая программа которую я купил "честно" :hungry:, свои деньги отрабатывает. Опенкарт парсить одно удовольствие, ибо структура страницы простенькая, за пол час настраиваешь шаблон, а потом просто выбирай категории и парсиш
     
  16. mr.Elias

    mr.Elias

    Регистрация:
    15 июн 2013
    Сообщения:
    269
    Симпатии:
    41
    Вы не сталкивались с такой ситуацией, когда надо спарсить картинки, но ссылка на эти самые картинки динамически меняется, вроде бы ключ подставляется какой-то.
    Получалось ли в таком случае копировать картинки в автоматическом режиме?
     
  17. Алексаша

    Алексаша

    Регистрация:
    24 янв 2013
    Сообщения:
    120
    Симпатии:
    20
    Это реально, там какой то user agent вроде бы надо заводить. Вообще там есть форум по КД и можно все выяснить, если нет, то за деньги тебе настроят все под ключ.
     
  18. mr.Elias

    mr.Elias

    Регистрация:
    15 июн 2013
    Сообщения:
    269
    Симпатии:
    41
    Привет всем!
    Кто-нибудь сталкивался / работал с парсером Datacol и как он по сравнению с Content Downloader?

    друзья, очень надо мнение знающих людей!
    Что выбрать Datacol или Content Downloader?