Тестирование с помощью LINQPad v4.31 показывает, что ответ - да, поскольку, если вы закомментируете foreach, вы получаете необработанное диалоговое окно исключений для каждой незавершенной задачи.
Мне кажется, я понимаю, почему это происходит на данный момент, ноесли кто-то хочет получить более техническое объяснение этого поведения, то обязательно сделайте это.