Как узнать, какой хост записывает в каталог HDFS？

Question

Есть некоторый процесс, который записывал в каталог HDFS. Как узнать, какой хост или приложение это делает?

Answer 1

Если это одноразовое требование, вы можете использовать инструменты мониторинга на реальных хостах. Если у вас достаточно мало хостов, вы можете использовать iotop, чтобы увидеть, какие процессы генерируют, сколько ввода-вывода. Это предложение применимо только к системам Linux.

Answer 2

Предполагая, что вы используете защищенный кластер HDP-Kerberos и что RANGER установлен с включенным плагином HDFS, вы можете отслеживать все обращения к HDFS из журналов аудита и, возможно, найти виновного. Иначе может быть в логах Namenode в режиме отладки?