Все эти «дополнительные вещи» не требуются для запуска вашего «небольшого приложения». Вы можете убедиться в этом, скопировав файл .exe в место, где он действительно будет стоять один.
Если он не один, как вы говорите в комментарии ниже: возможно, часть вашего кода компилируется в .dll, или вы ссылаетесь на внешние dll? Не могли бы вы предоставить список имен файлов созданных файлов?