Если вы хотите быть в безопасности, возьмите все в папку debug / bin. Если вы используете раскрывающийся список в VS, чтобы перейти к выпуску, а затем скомпилировать проект, в папке release / bin будет меньше файлов, поскольку многие файлы, относящиеся к отладке, не включены.
Если есть сторонние библиотеки DLL, на которые вы ссылаетесь, например, если вы загрузили log4net или что-то в этом роде, то вы можете просто поместить их в ту же папку, что и исполняемый файл. Это называется параллельным развертыванием, и, на мой взгляд, это самый простой и легкий для тестирования.
Вы можете искать развертывание XCOPY, чтобы узнать больше о том, что вы пытаетесь сделать.
Вы можете сделать еще один шаг, сжав папку bin в архив, такой как zip-файл, чтобы пользователю было легко извлечь их, или вы можете использовать такой инструмент, как WIX или NSIS, чтобы создать установщик для извлечения и копирования файлы.