Вы можете сделать это, просто добавив поле отметки времени в базу данных. Какое обновление при каждой загрузке. Поэтому, когда ваш url извлекается через cron, он обновляет время последнего извлечения. Затем вы можете сделать запрос, который извлекает URL-адреса в соответствии с последним временем выборки в порядке DES C и лимитом 10.
Таким образом, извлекается только 10 URL-адресов, которые не были получены в течение длительного времени. Я думаю, что это решит вашу проблему.