Поскольку приложения flex запускаются во время выполнения флэш-памяти, вы не можете включать в себя ничего, что не может быть запущено во время выполнения флэш-памяти.
Что вы можете сделать, это создать веб-сервис, который может вызывать функции в DLL и возвращать результаты в формате XML, которые вы могли бы использовать из своего приложения Flex.