вполне возможно, getClass (). GetResourceAsStream ("resources \ rxtxSerial.dll") возвращает ноль, если он находится в корне файла jar, попробуйте:
getClass().getResourceAsStream("/rxtxSerial.dll")
, если он находится в каталоге dir с именем resources, попробуйте:
getClass().getResourceAsStream("/resources/rxtxSerial.dll")
и так далее ...