На самом деле мы изучаем, как работает архивирование содержимого NiFi.
Мы получили информацию со следующей веб-страницы: https://community.hortonworks.com/articles/82308/understanding-how-nifis-content-repository-archivi.html
К сожалению, у нас все еще есть вопросы, и мне нужна помощь, чтобы получить ихответы:
- Есть ли «заявки на контент», если архивирование отключено?
- Если архивирование отключено, означает ли это, что механизм очистки содержимого потоковых файлов не будет выполнен?
- Влияет ли механизм архивирования на диски (I / O) и, следовательно, на производительность?Итак, если мы не сможем это сделать, получим ли мы значительный выигрыш?
До сих пор механизм архивации включен.
Затем мне нужно адаптировать параметры для моего использования: Мыиспользуют NIFI для одного случая использования, с расчетной целевой пропускной способностью 50000 мсг / с.
У нас есть 3 узла => каждый узел обрабатывает почти 17000 мсг / с на узел
Каждое сообщение имеет размер около 810 байтов.С помощью процессоров типа «запись» мы создаем потоковые файлы, состоящие из 1000 сообщений, в самом начале нашего рабочего процесса.
Итак, каждый потоковый файл имеет размер 810 КБ.
17000 мсг / с на узел = 17 потоковых файлов / с на узел = почти 14 Мо / с на узел.
Мы знаем, что нам нужно изменить следующие параметры:
nifi.content.claim.max.appendable.size = 10 МБ (значение по умолчанию) nifi.content.claim.max.flow.files = 100 (значение по умолчанию)
Но мои вопросы: что лучшезначения для нашего варианта использования?Есть ли способ определить правильные значения?рассчитать их?
У меня такое ощущение, что если я поставлю низкие значения, будет больше ввода / вывода.Если я добавлю более высокие значения, данные будут находиться в очереди внутри NIFI, ожидая заполнения заявки на контент.Таким образом, использование памяти (возможно, подкачка) увеличится ...