Visual Web Ripper проблема

Тема в разделе "OpenCart", создана пользователем la-vanna, 3 фев 2013.

  1. dbunt1tled

    dbunt1tled

    Регистрация:
    18 фев 2013
    Сообщения:
    233
    Симпатии:
    44
    поставил модуль сначала посыпалось куча ошибок... потом удалил поставщика со старой версии, добавил нового... ошибки перестали выпадать, но при сохранении поставщика(прайс не экспортировал просто внес данные) выдало ошибку мускула, что в таблице suppler нет колонки weight.
    я так понимаю что-то криво встало, doris4730, у тебя не было таких проблем?
    UPD...Наверное понял таблицы остались еще с прошлой версии а в новой изменили их структуру а в условии написано обновлять если бд нет таблиц....щас в ручную создам
     
  2. doris4730

    doris4730

    Регистрация:
    16 янв 2013
    Сообщения:
    93
    Симпатии:
    62
    я сам ещё не тестил эту версию модуля.
    просто выложил, потому что многим нужна была
     
  3. Malcasto

    Malcasto

    Регистрация:
    24 янв 2013
    Сообщения:
    103
    Симпатии:
    4
    подскажите, как парсить, если список товаров в категории идет одна страница за другой, т.е. page=1,2,3.... типа вкладками? Поу умолчанию скачивает только 1 страницу категории
     
  4. doris4730

    doris4730

    Регистрация:
    16 янв 2013
    Сообщения:
    93
    Симпатии:
    62
    записал видео
    на словах это не объяснишь нормально
    --- добавлено: 24 мар 2013 в 02:19 ---



    Видеоурок по парсингу. ч.2
    [​IMG]

     
    fob, ioan, Malcasto и 2 другим нравится это.
  5. Malcasto

    Malcasto

    Регистрация:
    24 янв 2013
    Сообщения:
    103
    Симпатии:
    4
    спасибо, урок помог. Но там еще бывают страницы, где кнопк не "Следующая", а "Последняя", в таких случаях чтото можно сделать? Ждем ваши уроки с более тяжелыми сайтами. например ондного поставщика мне удается пропарсить только название категорий, товары почемуто вообще не находит. Хотя ссылки на них правильные и идет по порядку переход
     
  6. dbunt1tled

    dbunt1tled

    Регистрация:
    18 фев 2013
    Сообщения:
    233
    Симпатии:
    44
    doris4730 спасибо ждем продолжение....

    а я наверно пример взял стремный магазин на опенкарте, WebCrawler не хочет парсит процесс происходит несколько секунд и выдает пустой файл, WebBrowser чуть лучше находит товары но в процессе выдает ошибку циклически перзапускает работу
     
  7. Lora32

    Lora32

    Регистрация:
    28 фев 2013
    Сообщения:
    146
    Симпатии:
    152
    В прошлой версии было 29 таблиц теперь 30 таблиц добавь таблицу
    sheap и будет счастье.
     
  8. Wasdo

    Wasdo

    Регистрация:
    26 мар 2013
    Сообщения:
    56
    Симпатии:
    24
    Уважаемые вебмастера такая проблема: скачал visual_web_ripper2.17.7 навожу мышкой на страницу в программе, мне выходит сообщение: Недопустимый url-адрес. Путь Dos должен иметь корень, например с:\. Что делать?
    --- добавлено: 26 мар 2013 в 22:49 ---
    :help:
     
  9. Taker

    Taker

    Регистрация:
    2 дек 2012
    Сообщения:
    206
    Симпатии:
    143
    Класс! Спасибо за видео! Поржал в конце!))) Сними пожалуйста как спарсить сайт с большим количеством категорий-подкатегорий.А то все примеры в видео на примере парсинга только отдельной категории.СПС!)
     
  10. RESER

    RESER

    Регистрация:
    25 янв 2013
    Сообщения:
    172
    Симпатии:
    122
    Кто помочь может донор на опенкарте как ни пробую не принемает линки товара


     
  11. Taker

    Taker

    Регистрация:
    2 дек 2012
    Сообщения:
    206
    Симпатии:
    143
    Может быть тебе попросить просто слить дамп магазина вместе с БД? Здесь на форуме есть кто это может сделать.
     
  12. wbvetal86

    wbvetal86

    Регистрация:
    19 фев 2013
    Сообщения:
    55
    Симпатии:
    8
    А можно получить дамп БД? Если можно ссылочку где это можно почитать )))
    --- добавлено: Apr 1, 2013 10:17 PM ---
    Задайте конкретней вопрос, по возможности помогу )))
     
  13. Lora32

    Lora32

    Регистрация:
    28 фев 2013
    Сообщения:
    146
    Симпатии:
    152
    Проблема есть сайт где товары расположены блоками. Парсит 1 блок а продолжение не захватывает прайс получается четвертным и так все страницы. Искренне не могу разобраться где копать.
     
  14. wbvetal86

    wbvetal86

    Регистрация:
    19 фев 2013
    Сообщения:
    55
    Симпатии:
    8
    Бросьте сайт и что нужно парсить, посмотрю. :wavespin:
     
  15. Malcasto

    Malcasto

    Регистрация:
    24 янв 2013
    Сообщения:
    103
    Симпатии:
    4
    подскажите. Много таких сайтов попадается, что начинаешь парсить и ничего кроме категорий не удается выудить. Может я как-то не павильно парсю?? Т.е. именно из категорий дальше не переходит на сам товар( пишет что ссылка не найденна в откладчике) и парсит дальше, собирая только в столбик названия категорий. Делаю все, как по инструкцции в видео уроке. некоторые сайты парсит, но процентов 70%. Выбирал и галочку AJAX и без и т.д., никакой разницы.
     
  16. wbvetal86

    wbvetal86

    Регистрация:
    19 фев 2013
    Сообщения:
    55
    Симпатии:
    8
    информация может быть в разных блоках html , проверяйте на нескольких товарах.
     
  17. Malcasto

    Malcasto

    Регистрация:
    24 янв 2013
    Сообщения:
    103
    Симпатии:
    4
    прико в том, что оно даже не переходит ни на какие блоки. Теряется связь сразу после списка категорий. Причем на разных сайтах. Вот например простой сайт :

    Попробуйте с него выудить тайтлы, цену хоть чтото! Если получиться, видимо чтото не то я делаю
     
  18. Matras

    Matras

    Регистрация:
    27 окт 2012
    Сообщения:
    165
    Симпатии:
    27
    Я столкнулся с тем что ломаная версия и официальная по разному строят xpath, приходится делать xpath в самой последней и вставлять в ломанную. Отсюда вопрос может есть у кого последняя нормальная версия?
     
  19. wbvetal86

    wbvetal86

    Регистрация:
    19 фев 2013
    Сообщения:
    55
    Симпатии:
    8
    есть нормально работающая 2.86
     
  20. Malcasto

    Malcasto

    Регистрация:
    24 янв 2013
    Сообщения:
    103
    Симпатии:
    4
    у меня 2.17.7, может из-за этого она не всегда находит что нужно?