Как заявил curious_geek, этого можно достичь с помощью TransactionScope.Но работать с транзакциями может быть непросто, особенно если вы хотите выполнить более одной операции на одну транзакцию.
Вы уверены, что вам нужна транзакция?Не можете ли вы просто удалить файл еще раз, если шаг 2 или 3 не удается?