Задача удаляется из очереди, когда она выполняется, если и только если она возвращает ответ HTTP 200. Для любого другого ответа он будет повторяться до тех пор, пока не будет успешно выполнен.
Как показывает ответ Дэвида, их также можно удалить вручную.