Даже если у вас есть это в качестве цели, вы сможете тестировать только на подмножестве. В зависимости от того, насколько всеобъемлющими являются ваши автоматические тесты, вы, вероятно, захотите определить только небольшой набор - возможно, 6 или около того - правильно поддерживаемых JRE. Если кто-то попытается запустить его на чем-то другом, возможно, это сработает, но вы не можете утверждать, что проверили его.
Если это приложение с графическим интерфейсом, это скорее кошмар, так как тестирование графического интерфейса ужасно. Так что в этом случае вы захотите поддерживать меньшее количество JRE.
Помните, что вам нужно протестировать комбинацию JRE / OS и что существует множество различных ОС - по крайней мере, дюжина различных версий Windows общего пользования (без учета локализаций).