Собственно сам магазин carsjp.ru это не реклама, просто мне очень интересно, как они добавляют запчасти с разных сайтов к себе, и при это следят что бы были актуальные цены и наличие товаров, перерыл весь интернет и ответа не нашел, есть только предположения что движок самописный и каким то образом они парсят только актуальную информацию. Поделитесь информацией если уже был подобный опыт
Ничего там особенного нет, просто написали парсеры под нужные им площадки и запускают их например раз в день. Сам сайт использует bootsrtap и php 5 мб там какой-нибудь фрэймворк стоит, но это не точно.
Да bootsrtap и php видел, но на bootsrtap и php почти все сайты сделаны) фреймфорк или скрыт или самопис, блин но как такие парсеры написать) Еще и рся повесили и как яндекс пропустил.
что там писать? логика работы проста... отпарвляем запрос на сайт донор, гуляем по его страницам, собираем информацию и записываем к себе а базу. например: https://symfony.com/doc/current/components/dom_crawler.html вот библиотека для парсинга html статей в интернете полно.
За ссылку спасибо интересно почитать. Какой запрос парсер php или парсер curl php? Есть ли более менее нормальная статья, которую можно почитать? Статей много, но на такую тему сложно найти нормальную статью
статей на самом деле тоже много: https://lamp-dev.com/scraping-products-from-walmart-with-php-guzzle-crawler-and-doctrine/958
Очень похоже, что там самопис, при чём довольно примитивный. Можете почитать это: https://wmasteru.org/threads/Простой-парсер-товаров-с-amazon-с-помощью-beautifulsoup.22880/ Правда, там не php
Да спасибо, это уже намного ближе, интересует вопрос как после парсинга работать с полученным csv. например самописного сайта или магазина к примеру на ларавел Возможно ли сделать все автоматически или полуавтоматически? Парасинг, Загрузка, обновление товаров от другого сайта на мой сайт. И как с обновлением цен добавление новых товаров без моего участия. Такую стать-мануал не встречали? Любой вид подойдет про питон читал что очень хорош для парсинга, прочитал статью, краткая и подробная, но поять вопрос что дальше делать с ссылками, вытягивать по аналогии картинки текст и т.д. Но как их потом закинуть на сайт Что-то я запутался
И это действительно так! Не знаю, как сейчас, но раньше его даже Гугл в своих ботах использовал. В моей статье вытягивается всё: со страницы категории вытягиваются ссылки на товары, а затем по этим ссылкам вытягиваются названия, изображения, цены. После завершения работы парсера вы получаете массив с данными товаров, который остаётся только записать в базу магазина, например, с помощью SQLAlchemy. А как именно записывать - зависит уже от структуры базы. Изображения, правда, придётся предварительно скачать и сохранить на диск и в базу записывать уже локальный путь.
