«случайный» означает, что вы не получите здесь ответ. Даже если это делает кто-то другой, случайность предполагает, что причина, вероятно, не такая, как в вашем случае.
Вы уверены, что, возможно, ваши юнит-тесты не просто время от времени выполняются?
Возможно, вы можете присоединить VisualVM к вашему PID при запуске Ant, чтобы посмотреть, что происходит с памятью, или, возможно, к профилировщику, чтобы зафиксировать его.
Но вы просто догадались без данных прямо сейчас.