Можно ли запустить реестр RMI в потоке демона? Я бы хотел, чтобы он автоматически выключался по завершении моих модульных тестов без вызова System.exit.
Он вообще не «запускается», он выполняется средой выполнения RMI по требованию, поэтому потоки демона в него не входят. Вы можете удалить его, как любой другой удаленный объект.