Извините, если это глупый вопрос, очень новый для nifi.
Настроил группу процессов для выдачи sql запросов в CSV, а затем загружал их на S3. Хорошо работал с небольшими запросами, но, похоже, застрял с большими файлами.
Входная очередь для процессора PutS3Object имеет ограничение 1 ГБ, но файл, который он пытается поместить, составляет почти 2 ГБ. Я установил параметры составной части в процессоре S3 равными 100M, но он все еще застрял.
Таким образом, моя теория состоит в том, что S3PutObject требуется полный файл перед началом загрузки. Это правильно? Нет ли способа загрузить его в потоковом режиме? Или мне просто нужно увеличить размер входной очереди?
Или я не на том пути, и что-то еще удерживает все это.