ммм - DLL не являются процессами, поэтому я предполагаю, что вы имеете в виду IPC между вашим Java-приложением и каким-либо другим собственным приложением, связанным с DLL. Сокеты, наверняка, путь сюда. Вам все будет проще.
Другой вариант - использовать JNI для общения с реализацией DCOM, но я не думаю, что вы получите много (кроме необходимости иметь дело с головными болями COM и JNI :-)).