Да, необработанные исключения должны быть зарегистрированы. Предполагая конфигурацию ведения журнала по умолчанию, они окажутся на консоли и в server.log. Обратите внимание, что Thread.UncaughtExceptionHandler используется, когда поток завершается из-за исключения. На самом деле речь идет не о перехвате любых необработанных исключений.
Еще одна вещь, на которую стоит обратить внимание, это WildFly и JBoss EAP не используют log4j для своего менеджера журналов. Я полагаю, вы ссылаетесь на один из них с тегом jakarta-ee.