Как параллельно получать данные из Rest API в PHP

Question

Мне нужно непрерывно получать около 250 тысяч записей из API. со стороны клиента я нажимаю на кнопку, используя ajax-сервер, извлекаю записи из API и сохраняю как файлы в файловой системе сервера. но из-за этого огромное количество записей. система прекращает выполнение после 50К. есть ли в php какой-либо метод для выборки параллельной обработки данных или использования нескольких потоков.

Answer 1

Проблема не в получении данных из базы данных. Он находится на другой стороне, то есть записывает данные в файл.

Файл не сохраняет слишком много данных одновременно. Вы должны сделать это кусками.

Answer 2

Вы можете проверить / использовать следующие подходы, чтобы проверить, что лучше соответствует вашим требованиям: 1. Используйте асинхронные вызовы ajax 2. Увеличьте директивы MAX_EXECUTION_TIME и MEMORY_LIMIT в php, чтобы он мог обработать полный запрос.3. Увеличьте размер загружаемых данных.