Основной принцип заключается в том, чтобы хранить метрическую оценку и дату где-нибудь (например, в базе данных) и каждый раз сверять метрику с последним сохраненным значением.
Ваша основная проблема - сбор статистики по новой сборке до момента успеха / неудачи - издатели запускаются после того, как сборка уже была успешной / неудачной, поэтому вам нужно будет использовать последовательную задачу для сбора статистики.
Если подумать, я не совсем уверен, что на самом деле не удалась сборка, основанная на метриках, - отличная идея, вы можете обнаружить, что она снова вас укусит.