В настоящее время это невозможно. SwiftPM выполняет клонирование репозитория git, поэтому он также получит любой из этих файлов.
Я знаю, что git может клонировать определенные пути из репозитория, но я не уверен в ограничениях. Для поддержки такой функции с SwiftPM должно быть предложение Swift Evolution.