Да, ваше приложение будет выглядеть в файловой системе относительно файла .exe вашего приложения.
Вы можете включить двоичные файлы в свой проект и скопировать их в выходной каталог. После добавления двоичного файла в ваш проект выберите его и перейдите к его свойствам. «Действие построения» должно быть установлено в «Содержимое», а «Копировать в выходной каталог» должно быть установлено «Копировать всегда» или «Копировать, если новее».
Может быть немного сложнее получить папку, встроенную в ваш выходной каталог, и добавить в нее файл; вам, возможно, придется согласиться с тем, что бинарный файл находится в том же каталоге, что и ваш исполняемый файл. Одно из мест, где можно посмотреть, - это действия по сборке вашего проекта; Вы можете добавить сценарии после сборки, которые устанавливают папку и перемещают двоичный файл в нужное место.