Дизайн приложений PHP

Question

Мне нужно сделать Scraper, который будет удалять около 100 URL-адресов, Scraper должен работать в PHP CLI, вызываемом CronJob.Я совершенно заблудился, как управлять этим ... для каждого URL я думаю создать новый файл только для того, чтобы прояснить ситуацию, когда мне нужно обновить код для определенного URL.

Это может быть хорошим вариантом?Тогда можно ли все эти файлы вызывать из одного CronJob?

Answer 1

Вы бы хотели, чтобы этими 100 URL-адресами можно было легко управлять, сохраняя их в базе данных или текстовом файле. Затем просто загрузите все URL, прокрутите их и вызовите функцию очистки.

Answer 2

Что вы можете сделать, это:

Вести список всех 100 URL вместе с Псевдонимом (может быть любым, скажем "Google" для http://google.com) вБаза данных.

Создайте файл для каждого URL со следующими соглашениями об именах: «Псевдоним name.php», Напишите код для разбора URL в этом файле.

Теперь вы можете вызвать один Cronjob, который будет получать всеваши URL-адреса из базы данных. Вы можете просмотреть каждый URL-адрес и выполнить файл с соответствующим именем псевдонима.

Например. Если ваш URL-адрес: http://google.com и псевдоним для него Google. Для этого вам нужно создать файл с именем Google.php, напишите код для Scrapping. В работе cron вы получите код, подобный

$urls = getAllURLs();    
foreach($urls as $url){

include_once($url['alias'].".php");

}

Надеюсь, это поможет.

Спасибо!

Хуссейн