Eclipse компилируется на лету (при сохранении), поэтому ему не нужно ничего делать, кроме как запускать тесты. Идеи нет. Перед началом тестов он должен сделать (скомпилировать все измененные классы всего проекта). Также невозможно начать тестирование по идее, если в другом месте проекта есть ошибка компиляции.