Если вы используете атрибут DeploymentItem, он принимает второй аргумент для имени каталога, в который копируются файлы. Если вы используете то же имя, что и ваша папка, она сохраняет все.
Чтобы использовать тестовый набор, вы должны:
[DeploymentItem("Configuration", "Configuration")]
class TestClass
....
и это будет работать.