Сохранение интерактивных изменений, внесенных в настройки логгера, должно быть приложением, о котором нужно позаботиться.
Что касается log4j, он просто считывает конфигурацию из файла свойств или файла XML и инициализирует.Корректировки, сделанные после этого с помощью кода приложения, не сохраняются, и (AFAIK) в log4j нет положений для этого.(Да, я в этом уверен.)
Лучшее, что я могу придумать, это эта страница , в которой говорится о перезагрузке конфигураций log4j во время работы приложения.AFAIK, это не то, что вы хотите.