У меня есть задание, которое извлекает файлы из S3 и сохраняет эти данные в базе данных. Поскольку файл довольно большой, я хочу, чтобы файл обрабатывался партиями (например, 10 тыс. Строк на пакет) одновременно, т. Е. Обрабатывать куски строк. Я также хочу обернуть обработку каждого пакета в транзакции, чтобы выполнить откат в случае исключений. Размер партии может меняться между прогонами. Имеется ли в наличии система для такого контроля идемпотентности (повторного входа), которую я могу использовать в качестве справки?