AppDomain, в контексте вашего вопроса, является концепцией .NET CLR и не может использоваться для выполнения неуправляемого exectable.
Если вы запускаете исполняемый файл, используя Process.Start, он будет работать в егособственный процесс , который имеет даже более высокую изоляцию, чем домен приложения .
Какие функции домена приложения вы хотели бы иметь при запуске исполняемого файла?