Хорошо, благодаря подсказке Reflection я понял это.Результат выглядит следующим образом:
RuntimeException ex = (RuntimeException) Class.forName(exceptionName).getConstructor(String.class).newInstance(exceptionMessage);
throw ex;
exceptionName
должно быть полным именем класса Исключения.