Как создать такой магазин?

Тема в разделе "PHP", создана пользователем StichLilo, 11 июл 2018.

  1. StichLilo

    StichLilo

    Регистрация:
    10 июл 2018
    Сообщения:
    0
    Симпатии:
    0
    Собственно сам магазин carsjp.ru это не реклама, просто мне очень интересно, как они добавляют запчасти с разных сайтов к себе, и при это следят что бы были актуальные цены и наличие товаров, перерыл весь интернет и ответа не нашел, есть только предположения что движок самописный и каким то образом они парсят только актуальную информацию.
    Поделитесь информацией если уже был подобный опыт
     
  2. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.581
    Симпатии:
    1.482
    Ничего там особенного нет, просто написали парсеры под нужные им площадки и запускают их например раз в день.

    Сам сайт использует bootsrtap и php 5 :Smile: мб там какой-нибудь фрэймворк стоит, но это не точно.
     
  3. StichLilo

    StichLilo

    Регистрация:
    10 июл 2018
    Сообщения:
    0
    Симпатии:
    0
    Да bootsrtap и php видел, но на bootsrtap и php почти все сайты сделаны) фреймфорк или скрыт или самопис, блин но как такие парсеры написать) Еще и рся повесили:Biggrin: и как яндекс пропустил.
     
  4. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.581
    Симпатии:
    1.482
    что там писать? логика работы проста... отпарвляем запрос на сайт донор, гуляем по его страницам, собираем информацию и записываем к себе а базу.

    например: https://symfony.com/doc/current/components/dom_crawler.html вот библиотека для парсинга html

    статей в интернете полно.
     
  5. StichLilo

    StichLilo

    Регистрация:
    10 июл 2018
    Сообщения:
    0
    Симпатии:
    0
    За ссылку спасибо интересно почитать.
    Какой запрос парсер php или парсер curl php?
    Есть ли более менее нормальная статья, которую можно почитать? Статей много, но на такую тему сложно найти нормальную статью
     
  6. $iD

    $iD Команда форума

    Регистрация:
    13 мар 2012
    Сообщения:
    3.581
    Симпатии:
    1.482
  7. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
  8. StichLilo

    StichLilo

    Регистрация:
    10 июл 2018
    Сообщения:
    0
    Симпатии:
    0
    Да спасибо, это уже намного ближе, интересует вопрос как после парсинга работать с полученным csv. например самописного сайта или магазина к примеру на ларавел
    Возможно ли сделать все автоматически или полуавтоматически? Парасинг, Загрузка, обновление товаров от другого сайта на мой сайт. И как с обновлением цен добавление новых товаров без моего участия.
    Такую стать-мануал не встречали?:Smile:

    Любой вид подойдет про питон читал что очень хорош для парсинга, прочитал статью, краткая и подробная, но поять вопрос что дальше делать с ссылками, вытягивать по аналогии картинки текст и т.д. Но как их потом закинуть на сайт:Smile: Что-то я запутался:Smile:
     
  9. Dotrox

    Dotrox Команда форума

    Регистрация:
    27 ноя 2012
    Сообщения:
    3.198
    Симпатии:
    1.306
    И это действительно так! Не знаю, как сейчас, но раньше его даже Гугл в своих ботах использовал.

    В моей статье вытягивается всё: со страницы категории вытягиваются ссылки на товары, а затем по этим ссылкам вытягиваются названия, изображения, цены.

    После завершения работы парсера вы получаете массив с данными товаров, который остаётся только записать в базу магазина, например, с помощью SQLAlchemy. А как именно записывать - зависит уже от структуры базы.
    Изображения, правда, придётся предварительно скачать и сохранить на диск и в базу записывать уже локальный путь.