Вы можете написать так:
<fileset dir="${src.dir}">
<exclude name="your-file-name-or-pattern"/>
<include name="your-file-name-or-pattern"/>
</fileset>
Атрибут name принимает как имя файла, так и шаблон, который соответствует нескольким файлам.
Для получения более подробной информации об этом см .:
http://ant.apache.org/manual/Types/fileset.html
Когда вы читаете эту страницу, обратите внимание и на селекторы.