Итак, я искал кое-что здесь, но не смог найти ничего хорошего, извинения, если мой поиск-фу недостаточен ...
Итак, что у меня есть сегодня , так это то, что мойпользователи загружают текстовый файл CSV с помощью формы в мой скрипт PHP, а затем я импортирую этот файл в базу данных после проверки каждой строки в нем.Текстовый файл может содержать до 70000 строк, и каждая строка содержит 24 поля значений.Это, очевидно, не проблема, так как работа с такими данными.Каждая строка должна быть проверена, плюс я проверяю БД на наличие дубликатов (в соответствии с динамическим ключом, сгенерированным из данных), чтобы определить, должны ли данные быть вставлены или обновлены.
Верно, но мои клиенты теперь запрашиваютавтоматический API для этого, поэтому им не нужно вручную создавать и загружать текстовые файлы.Конечно, но как мне это сделать?
Если бы я использовал REST-сервер, память бы очень быстро исчерпала бы, если бы один запрос содержал XML для вставки 70 тыс. Постов, так что об этом не может быть и речи.
Итак, как мне это сделать?Я подумал о трех вариантах, пожалуйста, помогите решить или добавьте больше вариантов в список
Один пост на запрос.Не все клиенты имеют сообщения по 70 тыс., Но обновление БД может привести к тому, что API обработает 70 тыс. Запросов за короткий период, и, вероятно, это будет ежедневно в любом случае.
X количествосообщений по запросу.Установите ограничение на количество сообщений, с которыми API работает в каждом запросе, например, до 100 за раз.Это означает 700 запросов.
API требует, чтобы клиентский скрипт загружал файл CSV, готовый для импорта, используя текущую подпрограмму.Это кажется «хрупким» и не очень современным.
Есть еще идеи?