Nifi Импорт больших файлов данных - PullRequest
0 голосов
/ 02 ноября 2019

Я новичок в нифи. Мы хотим скачать CSV-файл с FtpServer и вставить в HDFS. Я получил это, работая с небольшим тестовым файлом, используя процессоры getSFTP и putHDFS. Теперь мы хотим работать с нашим первым фактическим файлом данных размером около 15 ГБ, а более поздними файлами данных, возможно, в диапазоне 200–500 ГБ. Существуют ли какие-либо ограничения на размер файлов, которые могут быть загружены, и если да, то как их можно преодолеть? Большое спасибо заранее

1 Ответ

1 голос
/ 03 ноября 2019

Нет ограничений по размеру. Тем не менее, хранилища контента ваших сотрудников NiFi должны быть достаточно большими, чтобы одновременно содержать такие файлы.

Другими словами, NiFi предназначен для перемещения больших файлов.

...