Это зависит от устройства, с которым вы разговариваете - например, от устройства. Hayes-совместимый модем в командном режиме , он появляется в виде строк, разделенных новой строкой, если ваше устройство передает какой-либо промышленный протокол, такой как Modbus , вы будете отправлять телеграммы байтов.
В любом случае - последовательная связь на ПК почти всегда асинхронна и ориентирована на байты. Это означает, что на самом низком уровне данные всегда отправляются в виде массивов байтов, но в зависимости от вашего приложения более высоким уровнем будет строка или необработанный массив байтов.
Если вам нужно отправить байты (я предполагаю, что под HEX вы подразумеваете необработанные байты): как вы можете видеть в примере кода, rxtx делает доступным OutputStream , и что OutputStream имеет .write (byte []) метод. Вы можете использовать этот метод для отправки байтов на устройство. Также посмотрите здесь для дополнительного образца кода.