Вы должны отправить exe и любую dll, на которую вы ссылаетесь локально. Если вы используете ссылки COM и т.п., вам необходимо зарегистрировать их во время установки. То же самое для GAC, я думаю, но я сам не использовал это для автономных приложений.
application.exe.config содержит настройки приложения (копия app.config). Если вы не используете настройки или пользователь обычно не заботится о них, вы можете опустить файл, и он будет использовать значения по умолчанию, с которыми вы создали приложение.
Файлы vshost не нужны (если они у вас есть). Они используются отладчиком Visual Studio. Файлы .pdb содержат данные отладки, используемые для облегчения сопоставления dll и источника. Если вы не планируете присоединять к приложению отладчик, отправлять их бессмысленно.