Ищу парсер обновления остатка и цен

Кто может встречал нужен парсер для обновления цен и остатка с сайтов поставщиков.
Поставщиков порядка 30, и у каждого в районе 20-100 товаров.
Есть подобный модуль но за каждый сайт платить 50 у.е. не рентабельно.
Может есть у кого опыт как настроить хоть в полуавтоматическом режиме, модуль или программу на подобии Content Downloader для таких целей?
Можно ли настроить Content Downloader что бы он парсил остатки и цены и знал в какие товары эту инфу заливать?
Очень нужно..

 

Content Downloader + Автоматическая обработка прайс-листов. Наполнение магазина товарами v.3.4 + vqmod
http://opencartforum.ru/files/file/811-avtomaticheskaia-obrabotka-prais-listov-napoln/
Почитайте по этому модулю и определитесь оно или нет. Он умеет не только наполнять но и обновлять.

 

Модуль автоматической обработки прайс листов принимает данные с полностью заполненными полями картинками и тому подобное, нужно что б можно было обновлять выборочные поля только наличие и цену.
Может такие встречали?

 

Идеальный варант Web Ripper + Автоматическая обработка прайсов.

 

Несколько вопросов:
1. Что лучше Content Downloader или Web Ripper, почему?
2. Модуль автоматическая обработка прайсов, умеет ли обновлять только выборочные данные только наличие и цену, без названия, картинок и других данных, эти данные уже есть в магазине, товар уже добавленн нужно настроить обновление данных.
Спасибо.

 

Удобнее работать в связке Web Ripper + Автоматическая обработка прайсов из за формата xml, модуль обновляет все данные которые изменились, либо вы сами можете указывать колонки для обновления.

 

Да цена на Web Ripper в 300 у.е. смущает немного, есть разница по сравнению с 1000 р за Content Downloader
Он реально стоит своих 300 у.е.?
Разница между ними в основном в форматах и планировщике?
CSV потом можно и в XML перекодировать.

 

Не стоит его покупать) он ломаные валяется, поищите тут на форуме.

 

Нашел на форуме, но увы с вирусом, нужно виртуалку ставить тестить.

 

это фигня, при установке у меня dr web делит его то же, просто запрет поставь

 

Если ставите что-то подозрительное то только на виртуалку. А вообще лучше раскошелиться на Content Downloader - для бизнеса это не дорого! Плюс официальная поддержка.
У меня Content Downloader закачиваей прайсы конкурентов, а потом передает их в iNETsHOP для сравнения с прайсами поставщиков. А уже iNETsHOP обновляет автоматом заливает товары в магазин напрямую в mysql.

 

Вы не правы. полностью заполненые поля нужны для загрузки новых товаров. Для обновления существующих достаточно только столбца артикул и столбца цена (при необходимости можно указать столбец с количеством товара на складе)


А еще если иметь прайс со ссылками на страницы товаров, то модуль можно настроить так, что он сам будет парсить цены

т.е. указан столбец с артикулом и столбец со ссылкой на товар на сайте доноре, прогнали прайс сегодня, модуль по ссылкам спарсил цены и установил их Вам (к спарсеным ценам можно добавить маржу или убрать какой то %) например на сайте доноре цена 100$ вы модулем настраиваете что бы цена на Вашем сайте была на 10% меньше чем на сайте доноре и у Вас в магазин сразу будет загружаться цена 90$.

прогнали прайс завтра, цена на сайте доноре изменилась, модуль внесет вам измененную цену, с учетом Ваших пожеланий по обработке спарсеной цены. При это прайс менять вообще не нужно. Я не думаю, что на сайте доноре будут меняться URL у товаров.

Модуль развивается, он стал довольно сложным но ооочень функциональным.

 

Именно так и делаю уже несколько лет , настроил на УРЛ товара у поставщика, и по нему обновляются данные, модуль один из лучших, сложный но гибкий и стабильный.

 

Если в прайс-листе поставщика нет url товаров, а только название и цена. Как тогда быть?

 

Могу посоветовать elbuz'зовский софт, опыт работы есть и перспективу актуально, работает со всеми прайсами.
Но дорого. Если, что могу показать и рассказать.

 

Для вас оптимальный вариант - Inetshop как по возможностям программы так и по цене (от 50$ одиноразово или бесплатно до 5000 товаров). Вы сможете загрузить все свои прайсы поставщиков в общую базу данных и видеть цены в разрезе по товарам


Когда в прайсах нет артикулов и разные названия (отличаются от названий в вашем магазине), вы можете сравнить весь прайс-лист поставщика целиком с вашим каталогом и потом просто подтвердить привязку аналогичных товаров


Вот видео как программа импортирует прайс:

 

С помощью content downloader парсится сайт поставщика, в артикул ли SKU ставлю ссылку на страницу товара у поставщика.
С помощью модуля автоматическое обновление прайс листов, заливается новый товар в магазин, в артикуле или SKU ссылка на страницу поставщика.
Этот список ссылок сохраняю в .xml и сохраняю на ftp пример admin/uploads/1.xml
В модуле обновление прайс листов настраиваю границы парсинга с сайта поставщика, нацено на цену и количество.
Если все настроенно, на странице модуля все что нужно это нажать Загрузить прайс из admin/uploads на нужный проект тоесть 1.xml
Каждая ссылка соответствует артикулу товара в магазине, и с сайта поставщика обновляется цена и количество.
Не нужно каждый раз загружать прайс листы, особенно если таких поставщиков десятки, от поставщика нужно лишь что бы где-то были актуальные остатки на каком-то сайте, сайте поставщика или конкурента (на 1% дешевле всегда будет)
Руки не доходят настроить это по расписанию по Cron
Сейчас таким образом обновляется в магазине товары с 27 поставщиков, где-то это 20 товаров а где-то это 670 товаров и так длалее.
Не понимаю пока как вы обновляете с прайс листов ведь они каждый раз меняются, и всегда это должен делать внимательный человек что бы ничего не слетело, это напряг.

 

Для начала следует отметить, что не у всех поставщиков есть сайты и не на всех сайтах есть актуальные остатки. Причем на разные категории товаров одного и того же поставщика могут быть разные скидки от прайсовых цен. Даже в прайсах поставщиков далеко не всегда есть ссылкы, это скорее исключение, чем правило (скорее всего зависит от товарного сегмента).

Парсить цены не так просто как кажется - верстка страниц может измениться и сайт магазина окажется без цен. Или поставщик может подумать, что его парсит конкурент и будет подставлять другие цены. Тут нужен список прокси, подмена useragent, эмуляция работы "живого" посетителя.

Так вам все-равно нужно зайти в админку магазина и нажать на кнопку, а потом еще проверить. И как я понимаю, проверить это у вас технических возможностей по сути нет. Вот в гугле можно найти пример проверки изменения цены, когда она меняется слишком резко (подозрительные товары отмечены красным) и программа не даст продолжить импорт без того, чтобы пользователь подствердил что новые цены - правильные.

При желании почти все можно запустить на автомат, разница лишь в том, чтобы этот автомат не принес вред своим автоматизмом. Например эту эе программу можно запускать на импорт прайса из командной строки через скрипт Windows который вызывать ее как объект COM-автоматизации (правда до этого как-то руки не дошли и не знаю как оно там внутри все работатет). ДАже есть подобные скрипты которые берут прайсы и просто напрямую записывают в базу данных, тут уже нужно смотреть конкретную задачу и исходные файлы прайсов.

 

Да это реализовано именно с поставщиками у которых есть сайты, или на сайты конкурентов которые более стабильно обновляют цены этого поставщика.
По поводу подмены цен, и что увидят парсинг, единственные проблемы это с сайтами на проме ни один другой сайт еще не попадался с защитой, да и можно выставить задержку.
В модуле автоматическое обновление прайс листов можно поставить настройки наценки или округления цен на разные группы или категории товаров, просто по мимо ссылок в файле на сервере еще есть категория, это изначально формируется при парсинге структуры сайта через content downloader
Способов много наверное, но за года работы этот лично у нас зарекомендовал себя как наиболее стабильный результативный, и минимально проблемный.
Урлы на сайтах меняются реже чем структуры прайсов.
Одно врем давал объявление и искал человека который может внедрить более стабильную систему по работе с товарами, остатками и ценами, думал может кто-то у себя реализовал уже и готов за деньги поделиться наработками, но или все молчат и никому деньги не нужны, или реально все как то не очень.
Стабильны что вижу два варианта это или 1С если свои остатки, или парсинг если по системе дроп шипинг и поставщиков большое количество.
Повторюсь еще здесь, если у кого-то есть стабильные действующие наработки по работе с товарами и аналитике, в своих проектах или делали на заказ, и за деньги готовы ими поделиться и внедрить в наш магазин, прошу отпишитесь в личку думаю сработаемся.
Или по крайней мере хотя бы модуль автоматическое обновление прайс листов доделать работу по Cron с нормальной проверкой, автор не спешит делать, а руки к рабочей версии так и не дошли.

 

Поставщикам может и нет смысла закрывать сои сайт от парсинга, а вот обычным магазинам конкурента есть смысл. Может они уже подменяют цены, а вы просто этого не замечаете. Более того, артикулы на сайтах магазинов есть не всегда, это могут быть свои внутренние коды магазина, потому прописывать соответствие товаров руками долго и затратно по времени.

Может они уже подменяют цены, а вы просто этого не замечаете.

Трудно судить, этим модулем пользоваться приходилось но только для импорта готового сводного прайс-листа с уже окончательными ценами продажи.

Способов на самом деле много. Они покупают 1С и специальные прибамбасы к ней, другие обходятся обычным Excel, третьи используют модули и плагины для сайта, я пользуюсь специальной стационарной программой. Скорее всего до сих пор есть те, кто обновляет цены в магазине вообще руками.

Свои наработки мало кто захочет отдавать, во-первых это может быть поддержка конкурента, а во-вторых - нужна постоянная поддержка, что не всем нравится.

Работа с товарами и аналитике - обширная область которая может еще иметь свои заморочки в зависимости от товарного сегмента. Вам бы лучше описать конкретные проблемы или краткое ТЗ, тогда может кто-то и откликнется.