Почему вы предполагаете, что исключение будет выдано, когда файл не существует? Я только что взглянул на документы по API, и они ничего не говорят об обработке отсутствующих файлов - так что вполне вероятно, что условие будет просто проигнорировано.
РЕДАКТИРОВАТЬ: просто прочитайте ваши дополнительные комментарии, так что это не так.
Убедитесь, что статический блок действительно выполняется.
EDIT: PropertyConfigurator перехватывает исключение и обрабатывает его внутренне. Вот почему вы не видите исключения. См. Источник - строки 370-380 .