[Помогите] Программа для выдергивания и обновления цен со сторонних сайтов

Тема в разделе "OpenCart", создана пользователем sunny8u, 9 фев 2013.

  1. sunny8u

    sunny8u

    Регистрация:
    21 окт 2012
    Сообщения:
    71
    Симпатии:
    63
    Может быть, немного не в том форуме спрашиваю, но мне нужно прикрутить к OpenCart скрипт, который бы выдирал цены со стороннего сайта (из кода html) по запросу (нажатию кнопки "Обновить цены") из админки.
    Эти "выдранные" цены должны записываться в отдельную переменную в базе для каждого товара.

    Страницы, однотипные по структуре html. Пример Html-кода, из которого нужно будет выдирать цену:
    Код:
    <div class="price price-highlight">
    			  <del class="original-price">US $
    				  <span class="" id="sku-price">33.00</span>
    				  <span class="separator">/</span>
    				  <span class="unit">  pair  </span>
    			  </del>
    		  </div>  
    Пока я представляю себе работу этого модуля следующим образом.


    Большая-пребольшая просьба подсказать, есть ли модули с более-менее похожими функциями, чтобы на их основе можно было написать что-то под свои нужды.
    И если, вдруг таких нет... как вы думаете большой объём работы придётся проделать, чтобы написать нуля?
     
  2. alex_storm

    alex_storm webdev

    Регистрация:
    11 дек 2012
    Сообщения:
    1.151
    Симпатии:
    667
    Интересная задумка. Я лично для таких целей использую VisualWebRipper. Просто уже настроил шаблоны для парсинга + 30(50) минут работы и готово. Магазин обновил цены.
     
  3. sunny8u

    sunny8u

    Регистрация:
    21 окт 2012
    Сообщения:
    71
    Симпатии:
    63
    Такс.. надо посмотреть, что это.
    У меня просто на днях возникла неучтенная ранее проблема: поставщики начали ацки менять прайсы. Сижу думаю, что с этим делать:unsure:
    Если получится что-то путное реализовать через админку по-человечески, поделюсь:wink:
     
  4. alex_storm

    alex_storm webdev

    Регистрация:
    11 дек 2012
    Сообщения:
    1.151
    Симпатии:
    667
    Идея супер, но универсального метода не получится сделать, поскольку на каждом сайте своя верстка..
     
  5. sunny8u

    sunny8u

    Регистрация:
    21 окт 2012
    Сообщения:
    71
    Симпатии:
    63
    В том-то и дело, что у меня универсальная=)
    Все страницы совершенно однотипные. И я уже в процессе. Осваиваю php...

    З.Ы. Что-то туго...
     
    a-ha нравится это.
  6. Volsky

    Volsky

    Регистрация:
    22 ноя 2012
    Сообщения:
    191
    Симпатии:
    11
    Ну что разобрались или будем писать вместе?)
     
  7. moneymc

    moneymc

    Регистрация:
    22 янв 2013
    Сообщения:
    200
    Симпатии:
    36
    А разве у поставщиков нет прайсов в xls? Обычно так и есть, просто... А так, в целом, парсер не сложно написать.
     
  8. Volsky

    Volsky

    Регистрация:
    22 ноя 2012
    Сообщения:
    191
    Симпатии:
    11
    есть какието мануалы парсеров?
     
  9. moneymc

    moneymc

    Регистрация:
    22 янв 2013
    Сообщения:
    200
    Симпатии:
    36
    Почитайте про курлы. (cURL)
     
  10. a-ha

    a-ha

    Регистрация:
    29 дек 2014
    Сообщения:
    34
    Симпатии:
    11
    Есть результат? Интересно посмотреть на творение. У нас все гораздо проще для парсинга прайсов конкурентов купили Catalog Downloader, а для анализа и привязки товаров - Инетшоп:
     
    Lasted edited by : 8 ноя 2015
    mistral нравится это.
  11. mistral

    mistral

    Регистрация:
    11 дек 2015
    Сообщения:
    16
    Симпатии:
    1
    • Нарушение правил
    Там нужно не столько про саму библиотеку CURL, сколько про работу с прокси и регулярными выржениями, чтобы вытащить цены со страниц и распарсить новые ссылки для бота.

    У нас Datacol + Inetshop. Сейчас настраиваем на полную автоматизацию.

    П.С, с проксями постоянно проблемы мрут как мухи. ЯМаркет еще трудно парсить, банит постоянно.
     
    Lasted edited by : 2 фев 2016