Да, я вижу такое же поведение. Кажется, вы можете удалить только отложенные задачи из консоли администратора. После запуска они продолжают работать до тех пор, пока не завершат работу или не выполнят исключение (может занять до 10 минут с новым обновлением).
Я заметил, что они также не останавливаются при обновлении версий, что немного странно, если вы этого не ожидаете ... если задача занимает много времени, у вас заканчиваются обработчики, работающие в двух версиях приложение одновременно. Это имеет смысл, хотя.