Да. Вы должны обернуть .dll
в файл .jar
и сослаться на него в файле .jnlp
, используя <nativelib>
См. здесь для более подробного описания.
Если вы хотите запустить исполняемый файл, тогда вам лучше всего упаковать его в ваш .jar
как ресурс, взорвать его (скажем) во временный каталог, а затем запустить с использованием обычного механизма Process / Runtime .