В общем, вам понадобятся только приложение, файл конфигурации и любые зависимости (другие сборки, на которые вы ссылаетесь).
При развертывании вы, как правило, хотите развернуть релизсборка, а не отладочная сборка.Кроме того, при развертывании в других системах вы можете рассмотреть возможность создания проекта установки, который будет обрабатывать зависимости, включая саму .NET Framework.