Из вашего (несколько некорректного) описания я бы сказал, что использование AJAX для управления проверкой веб-сайта было бы крайне неподходящим подходом.
Вместо этого, более разумным подходом будет «пакетная обработка» данных веб-сайта с помощью сценария PHP, запускаемого cron.
Таким образом, после того, как вы вставите соответствующуюдомены в таблицу базы данных с флагом «обработано», установленным как false, фоновый скрипт затем:
Сканирует базу данных на веб-страницы, которые не отмечены как проверенные в течение требуемого времениperiod.
Выполнение поиска CURL и т. д.
Обновите запись базы данных в соответствии с текущей отметкой времени.
...
Чтобы не перекрывать существующий исполняемый скрипт пакетной обработки, вы должны вызывать php-скрипт каждые пять минут из cron и (в самом PHP-скрипте) проверять, как долгоскрипт запускается в начале этапа «сканирования» и завершается, если он работал в течение четырех минут или дольше.(Возможно, вы захотите изменить эти цифры, но, надеюсь, вы поймете, куда я иду с этим.)
Используя этот подход, вы сможете оставить фоновый скрипт на неопределенный срок (так как он вызывается).через cron он автоматически запускается после перезагрузки и т. д.) и просто добавляет веб-страницы в базу данных / просматривает результаты обработки и т. д. через отдельный веб-интерфейс.
Конечно, вы можете использовать AJAXдля регулярного получения сводной информации о текущем состоянии из базы данных для отображения на стороне клиента.