Вы можете включать только отдельные файлы или целые папки. Проблема в том, что развертывание занимает время. Чем меньше файлов будет скопировано, тем быстрее начнется тестирование.
Кроме того, вы можете запустить свои тесты в папке решений, отключив «развертывание». Но я бы не стал этого делать. Или вы можете попробовать скопировать его самостоятельно, например, методом, помеченным [AssemblyInitialize]. Вы получаете TestContext, который имеет свойство TestDeploymentDir. Если вам не нужно оптимизировать его, не делайте этого.