Ищу парсер обновления остатка и цен

Тема в разделе "OpenCart", создана пользователем mechenosec, 14 апр 2013.

  1. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    119
    Симпатии:
    18
    Кто может встречал нужен парсер для обновления цен и остатка с сайтов поставщиков.
    Поставщиков порядка 30, и у каждого в районе 20-100 товаров.
    Есть подобный модуль но за каждый сайт платить 50 у.е. не рентабельно.
    Может есть у кого опыт как настроить хоть в полуавтоматическом режиме, модуль или программу на подобии Content Downloader для таких целей?
    Можно ли настроить Content Downloader что бы он парсил остатки и цены и знал в какие товары эту инфу заливать?
    Очень нужно..
     
  2. noobie

    noobie

    Регистрация:
    27 мар 2013
    Сообщения:
    174
    Симпатии:
    22
    Content Downloader + Автоматическая обработка прайс-листов. Наполнение магазина товарами v.3.4 + vqmod
    http://opencartforum.ru/files/file/811-avtomaticheskaia-obrabotka-prais-listov-napoln/
    Почитайте по этому модулю и определитесь оно или нет. Он умеет не только наполнять но и обновлять.
     
  3. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    119
    Симпатии:
    18
    Модуль автоматической обработки прайс листов принимает данные с полностью заполненными полями картинками и тому подобное, нужно что б можно было обновлять выборочные поля только наличие и цену.
    Может такие встречали?
     
  4. Matras

    Matras Guest

    Идеальный варант Web Ripper + Автоматическая обработка прайсов.
     
  5. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    119
    Симпатии:
    18
    Несколько вопросов:
    1. Что лучше Content Downloader или Web Ripper, почему?
    2. Модуль автоматическая обработка прайсов, умеет ли обновлять только выборочные данные только наличие и цену, без названия, картинок и других данных, эти данные уже есть в магазине, товар уже добавленн нужно настроить обновление данных.
    Спасибо.
     
  6. Matras

    Matras Guest

    Удобнее работать в связке Web Ripper + Автоматическая обработка прайсов из за формата xml, модуль обновляет все данные которые изменились, либо вы сами можете указывать колонки для обновления.
     
  7. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    119
    Симпатии:
    18
    Да цена на Web Ripper в 300 у.е. смущает немного, есть разница по сравнению с 1000 р за Content Downloader
    Он реально стоит своих 300 у.е.?
    Разница между ними в основном в форматах и планировщике?
    CSV потом можно и в XML перекодировать.
     
  8. Matras

    Matras Guest

    Не стоит его покупать) он ломаные валяется, поищите тут на форуме.
     
  9. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    119
    Симпатии:
    18
    Нашел на форуме, но увы с вирусом, нужно виртуалку ставить тестить.
     
  10. Matras

    Matras Guest

    это фигня, при установке у меня dr web делит его то же, просто запрет поставь
     
  11. koshkakogti

    koshkakogti

    Регистрация:
    17 сен 2013
    Сообщения:
    19
    Симпатии:
    2
    Если ставите что-то подозрительное то только на виртуалку. А вообще лучше раскошелиться на Content Downloader - для бизнеса это не дорого! Плюс официальная поддержка.
    У меня Content Downloader закачиваей прайсы конкурентов, а потом передает их в iNETsHOP для сравнения с прайсами поставщиков. А уже iNETsHOP обновляет автоматом заливает товары в магазин напрямую в mysql.
     
  12. cherkas

    cherkas

    Регистрация:
    25 фев 2013
    Сообщения:
    451
    Симпатии:
    57

    Вы не правы. полностью заполненые поля нужны для загрузки новых товаров. Для обновления существующих достаточно только столбца артикул и столбца цена (при необходимости можно указать столбец с количеством товара на складе)


    А еще если иметь прайс со ссылками на страницы товаров, то модуль можно настроить так, что он сам будет парсить цены

    т.е. указан столбец с артикулом и столбец со ссылкой на товар на сайте доноре, прогнали прайс сегодня, модуль по ссылкам спарсил цены и установил их Вам (к спарсеным ценам можно добавить маржу или убрать какой то %) например на сайте доноре цена 100$ вы модулем настраиваете что бы цена на Вашем сайте была на 10% меньше чем на сайте доноре и у Вас в магазин сразу будет загружаться цена 90$.

    прогнали прайс завтра, цена на сайте доноре изменилась, модуль внесет вам измененную цену, с учетом Ваших пожеланий по обработке спарсеной цены. При это прайс менять вообще не нужно. Я не думаю, что на сайте доноре будут меняться URL у товаров.

    Модуль развивается, он стал довольно сложным но ооочень функциональным.
     
  13. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    119
    Симпатии:
    18
    Именно так и делаю уже несколько лет :Smile:, настроил на УРЛ товара у поставщика, и по нему обновляются данные, модуль один из лучших, сложный но гибкий и стабильный.
     
  14. Agata

    Agata

    Регистрация:
    12 июн 2016
    Сообщения:
    9
    Симпатии:
    0
    Если в прайс-листе поставщика нет url товаров, а только название и цена. Как тогда быть?
     
  15. hicenko

    hicenko

    Регистрация:
    24 янв 2013
    Сообщения:
    97
    Симпатии:
    18
    Могу посоветовать elbuz'зовский софт, опыт работы есть и перспективу актуально, работает со всеми прайсами.
    Но дорого. Если, что могу показать и рассказать.
     
  16. koshkakogti

    koshkakogti

    Регистрация:
    17 сен 2013
    Сообщения:
    19
    Симпатии:
    2
    Для вас оптимальный вариант - Inetshop как по возможностям программы так и по цене (от 50$ одиноразово или бесплатно до 5000 товаров). Вы сможете загрузить все свои прайсы поставщиков в общую базу данных и видеть цены в разрезе по товарам
    [​IMG]

    Когда в прайсах нет артикулов и разные названия (отличаются от названий в вашем магазине), вы можете сравнить весь прайс-лист поставщика целиком с вашим каталогом и потом просто подтвердить привязку аналогичных товаров
    [​IMG]

    Вот видео как программа импортирует прайс:


     
  17. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    119
    Симпатии:
    18
    С помощью content downloader парсится сайт поставщика, в артикул ли SKU ставлю ссылку на страницу товара у поставщика.
    С помощью модуля автоматическое обновление прайс листов, заливается новый товар в магазин, в артикуле или SKU ссылка на страницу поставщика.
    Этот список ссылок сохраняю в .xml и сохраняю на ftp пример admin/uploads/1.xml
    В модуле обновление прайс листов настраиваю границы парсинга с сайта поставщика, нацено на цену и количество.
    Если все настроенно, на странице модуля все что нужно это нажать Загрузить прайс из admin/uploads на нужный проект тоесть 1.xml
    Каждая ссылка соответствует артикулу товара в магазине, и с сайта поставщика обновляется цена и количество.
    Не нужно каждый раз загружать прайс листы, особенно если таких поставщиков десятки, от поставщика нужно лишь что бы где-то были актуальные остатки на каком-то сайте, сайте поставщика или конкурента (на 1% дешевле всегда будет)
    Руки не доходят настроить это по расписанию по Cron
    Сейчас таким образом обновляется в магазине товары с 27 поставщиков, где-то это 20 товаров а где-то это 670 товаров и так длалее.
    Не понимаю пока как вы обновляете с прайс листов ведь они каждый раз меняются, и всегда это должен делать внимательный человек что бы ничего не слетело, это напряг.
     
  18. koshkakogti

    koshkakogti

    Регистрация:
    17 сен 2013
    Сообщения:
    19
    Симпатии:
    2
    Для начала следует отметить, что не у всех поставщиков есть сайты и не на всех сайтах есть актуальные остатки. Причем на разные категории товаров одного и того же поставщика могут быть разные скидки от прайсовых цен. Даже в прайсах поставщиков далеко не всегда есть ссылкы, это скорее исключение, чем правило (скорее всего зависит от товарного сегмента).

    Парсить цены не так просто как кажется - верстка страниц может измениться и сайт магазина окажется без цен. Или поставщик может подумать, что его парсит конкурент и будет подставлять другие цены. Тут нужен список прокси, подмена useragent, эмуляция работы "живого" посетителя.

    Так вам все-равно нужно зайти в админку магазина и нажать на кнопку, а потом еще проверить. И как я понимаю, проверить это у вас технических возможностей по сути нет. Вот в гугле можно найти пример проверки изменения цены, когда она меняется слишком резко (подозрительные товары отмечены красным) и программа не даст продолжить импорт без того, чтобы пользователь подствердил что новые цены - правильные.
    [​IMG]

    При желании почти все можно запустить на автомат, разница лишь в том, чтобы этот автомат не принес вред своим автоматизмом. Например эту эе программу можно запускать на импорт прайса из командной строки через скрипт Windows который вызывать ее как объект COM-автоматизации (правда до этого как-то руки не дошли и не знаю как оно там внутри все работатет). ДАже есть подобные скрипты которые берут прайсы и просто напрямую записывают в базу данных, тут уже нужно смотреть конкретную задачу и исходные файлы прайсов.
     
  19. mechenosec

    mechenosec

    Регистрация:
    21 фев 2013
    Сообщения:
    119
    Симпатии:
    18
    Да это реализовано именно с поставщиками у которых есть сайты, или на сайты конкурентов которые более стабильно обновляют цены этого поставщика.
    По поводу подмены цен, и что увидят парсинг, единственные проблемы это с сайтами на проме ни один другой сайт еще не попадался с защитой, да и можно выставить задержку.
    В модуле автоматическое обновление прайс листов можно поставить настройки наценки или округления цен на разные группы или категории товаров, просто по мимо ссылок в файле на сервере еще есть категория, это изначально формируется при парсинге структуры сайта через content downloader
    Способов много наверное, но за года работы этот лично у нас зарекомендовал себя как наиболее стабильный результативный, и минимально проблемный.
    Урлы на сайтах меняются реже чем структуры прайсов.
    Одно врем давал объявление и искал человека который может внедрить более стабильную систему по работе с товарами, остатками и ценами, думал может кто-то у себя реализовал уже и готов за деньги поделиться наработками, но или все молчат и никому деньги не нужны, или реально все как то не очень.
    Стабильны что вижу два варианта это или 1С если свои остатки, или парсинг если по системе дроп шипинг и поставщиков большое количество.
    Повторюсь еще здесь, если у кого-то есть стабильные действующие наработки по работе с товарами и аналитике, в своих проектах или делали на заказ, и за деньги готовы ими поделиться и внедрить в наш магазин, прошу отпишитесь в личку думаю сработаемся.
    Или по крайней мере хотя бы модуль автоматическое обновление прайс листов доделать работу по Cron с нормальной проверкой, автор не спешит делать, а руки к рабочей версии так и не дошли.
     
  20. koshkakogti

    koshkakogti

    Регистрация:
    17 сен 2013
    Сообщения:
    19
    Симпатии:
    2
    Поставщикам может и нет смысла закрывать сои сайт от парсинга, а вот обычным магазинам конкурента есть смысл. Может они уже подменяют цены, а вы просто этого не замечаете. Более того, артикулы на сайтах магазинов есть не всегда, это могут быть свои внутренние коды магазина, потому прописывать соответствие товаров руками долго и затратно по времени.
    Может они уже подменяют цены, а вы просто этого не замечаете.
    Трудно судить, этим модулем пользоваться приходилось но только для импорта готового сводного прайс-листа с уже окончательными ценами продажи.
    Способов на самом деле много. Они покупают 1С и специальные прибамбасы к ней, другие обходятся обычным Excel, третьи используют модули и плагины для сайта, я пользуюсь специальной стационарной программой. Скорее всего до сих пор есть те, кто обновляет цены в магазине вообще руками.
    Свои наработки мало кто захочет отдавать, во-первых это может быть поддержка конкурента, а во-вторых - нужна постоянная поддержка, что не всем нравится.
    Работа с товарами и аналитике - обширная область которая может еще иметь свои заморочки в зависимости от товарного сегмента. Вам бы лучше описать конкретные проблемы или краткое ТЗ, тогда может кто-то и откликнется.