php скрипт

Тема в разделе "PHP", создана пользователем serrty, 7 апр 2016.

  1. serrty

    serrty

    Регистрация:
    9 июн 2015
    Сообщения:
    76
    Симпатии:
    0
    подскажите пожайлуста, как написать скрипт чтобы он переходил по ссылкам то есть собрал все внутренние ссылки любого сайта начиная с главной страницы и записал в файл, причем чтобы не было дублей?
     
  2. chukcha

    chukcha

    Регистрация:
    9 окт 2014
    Сообщения:
    283
    Симпатии:
    85
  3. serrty

    serrty

    Регистрация:
    9 июн 2015
    Сообщения:
    76
    Симпатии:
    0
    как я понял с этой строчки
    foreach($html->find('a') as $element)
    echo $element->href . '<br>';

    он находит только на странице ссылки, а нужно со всего сайта, без дублей, готовый бы скрипт такой не у кого не найдется
     
  4. chukcha

    chukcha

    Регистрация:
    9 окт 2014
    Сообщения:
    283
    Симпатии:
    85
    Ну так..
    Грубо..
    Не совсем понимаю что надо?

    берем Xenu - имеем весь пул ссылок

    Или...
    1. Взяли главную
    Получили все ссылки
    Записали в базу
    2. Пробегаем по сохраненным, каждую новую записываем

    Все.. все ссылки в базе.
     
  5. serrty

    serrty

    Регистрация:
    9 июн 2015
    Сообщения:
    76
    Симпатии:
    0
    А как настроить фид гатор, для джумлы 2.5, установил компонент на денвер, грабит только по 2-5 штук, и вручную приходится нажимать кнопку импорт, как сделать чтобы он через определенный промежуток времени сам грабил и сразу же опубликовывал статьи, я установил чек бокс опубликовывать автоматом, если я на хоситнг засуну весь сайт на джумле, то будет ли он сам искать и опубликовывать статьи. подскажите пожайлуста
     
  6. chukcha

    chukcha

    Регистрация:
    9 окт 2014
    Сообщения:
    283
    Симпатии:
    85
    Э... вопрос не в теме, или.. я не в теме.
    php - давайте о php