Мы видели много ошибок NiFi:
The rate of the dataflow is exceeding the provenance recording rate. Slowing down flow to accommodate
Думая, что это было связано с диском, мы попытались добавить несколько дисков происхождения SSD в соответствии с документацией .
Однако в документации не было ясно, куда поместить дополнительный ключ / значения конфигурации. В настоящее время у меня есть:
Расширенный nifi-ambari-config
Nifi provenance repository default dir установлен на: /var/lib/nifi/prov1
Пользовательский nifi-ambari -config
nifi.provenance.repository.directory.provenance1 установлен в: /var/lib/nifi/prov2 nifi.provenance.repository.directory.provenance2 установлен в: /var/lib/nifi/prov3
ПРИМЕЧАНИЕ : эти 2 пользовательских свойства имеют тип : ADDITIONAL_USER_PROPERTY
Однако я не уверен, что эта конфигурация соблюдается (после нескольких перезапусков), поскольку единственным диском с данными ( 2,1 ГБ ) является файл по умолчанию (prov1). Два других полностью пусты:
$ ls -al prov2
total 20
drwxr-xr-x. 3 nifi nifi 4096 Feb 28 13:27 .
drwxr-xr-x. 16 nifi nifi 253 Feb 28 14:29 ..
drwx------. 2 nifi nifi 16384 Feb 28 13:27 lost+found
$ ls -al prov3
total 20
drwxr-xr-x. 3 nifi nifi 4096 Feb 28 13:28 .
drwxr-xr-x. 16 nifi nifi 253 Feb 28 14:29 ..
drwx------. 2 nifi nifi 16384 Feb 28 13:28 lost+found
Кто-нибудь может поделиться своими рабочими настройками хранилища с множеством источников (включая nifi.provenance.repository.max.storage.size)?