Вы можете указать failonerror
:
<delete dir="${COMP_BUILD}" failonerror="false"/>
Это продолжит выполнение, если каталог не существует.
Проблема в том, что если каталог делает существует, но не может быть удален по какой-либо другой причине, тогда он также будет продолжаться.