Происходит то, что hadoop регистрирует bean-компонент jmx для мониторинга. При первом запуске hadoop регистрируется bean-компонент, но при втором запуске hadoop бин с таким именем уже зарегистрирован, что приводит к указанной выше ошибке.
Либо вы неправильно выключаете MiniDFSCluster, либо запускаете его более одного раза, либо в MiniDFSCluster есть ошибка, из-за которой он не очищается должным образом.
Вы звоните cluster.shutdown()
методом разрыва, как показано здесь .