Можно ли создать исполняемый файл из флэш-памяти, который может вызывать функции во внешней DLL (например, в Windows API)?
Да, но не с помощью инструментов Adobe. Вы должны использовать одну из программ, которая создает exe из файла swf.