Ну, есть несколько способов сделать это.
Лучший способ сделать это - настроить cron на выполнение вашего скребка каждые X минут.
В этом случае вам нужно будет отслеживать, какой у вас сейчас идентификатор.
поэтому, если вы настроили функцию записи в файл, вы можете сделать это следующим образом
-
Открыть файл (получить текущий идентификатор)
Запустите Parser с идентификатором 60 раз
Вставьте данные
Откройте файл и обновите его с новым идентификатором
закройте файлы и выйдите.
Это займет несколько часов или столько времени, сколько потребуется.
Если вы делаете это вручную и сидите там и обновляете каждый раз, когда скрипт завершает работу, тогда вы можете использовать сеансы вместо записи идентификатора в файл
`session_start();
$id = (isset($_SESSION['position']) ? $_SESSION['position'] : 0);
for($i=$id;$<=9999;$i++)
{
//FetchItem($id); //Or whatever function it is you use!
//Update the id for next run.
$_SESSION['position'] = $id;
}`
Если вы желаете перераспределить ресурсы своих серверов, вы можете продлить эти 60 секунд, используя set_time_limit (120), на 120 секунд или что вы предпочитаете.