Qt проще в настройке и управлении, чем Wx, по моему опыту. Это очень кроссплатформенный тоже.
Если вы хотите визуализировать некоторую графику из вашей DLL-функции без передачи указателей на объекты типа QImage или QWidget, возможно, вам стоит использовать OpenGL. Ваша DLL должна просто отображаться в текущий контекст OpenGL, который является глобальным состоянием и может быть просто установлен вне DLL (возможно, с использованием QGLWidget).
Обновление: Ах, я только что заметил, что ваше редактирование не может изменить код хоста. Это проблема: любые окна, которые вы создаете, действительно должны быть подключены к циклу событий хост-приложений, чтобы работать должным образом (например, получать WM_PAINT при отображении / изменении размера). В win32 для любого старого кода (например, вашей библиотеки), безусловно, возможно просто создать CreateWindow и рисовать его содержимое с помощью GDI всякий раз, когда у него появляется такая возможность, но общее поведение окна может быть довольно нарушенным (оно может вообще не работать с двойной буферизацией в Vista; Я не пробовал). Что я обычно нахожу в этой ситуации проще всего, так это просто выгружать файлы изображений и затем просматривать их с помощью программы просмотра изображений. ИМХО, это на самом деле более полезно для отладки, чем «живое» окно, потому что вы можете переходить назад и вперед, увеличивать масштаб изображения, применять улучшения изображения для выделения различных проблем, сравнивать с предыдущими прогонами для регрессионного тестирования и т. Д. (Если вы действительно хотите «живые» просмотры, напишите средство отображения изображений, которое отслеживает каталог для новых изображений, или передает их через именованный канал или что-то в этом роде.