Не используйте Eclipse для создания релизной версии вашего приложения. Используйте Ant, Maven или любой другой инструмент для сборки, который намного более гибок, чем Eclipse, не нуждается в графическом интерфейсе, может быть создан для сценариев и использоваться сервером непрерывной интеграции.
Все эти инструменты должны легко использоваться для включения ваших задач перед компиляцией и посткомпиляцией в процесс сборки.
Тем не менее, вы можете просто использовать общедоступную статическую конечную логическую константу FOR_TEST и включить весь свой тестовый код в
if (TestUtil.FOR_TEST) {
}
После этого у вас будет только одно место для изменения кода, чтобы удалить весь тестовый код из скомпилированной версии. Для этого не требуется сложная Java-программа.
Или вы можете разрешить весь тестовый код в выпущенной версии и активировать его, например, при тестировании с использованием системного свойства. Это даже не потребует фазы предварительной компиляции / посткомпиляции и, вероятно, будет иметь незначительную стоимость.