JMS - это спецификация API, она ничего не определяет о базовом протоколе.
Я бы предположил, что большинство реализаций сервера JMS используют двоичный протокол, EMS, с которым у меня больше всего опыта работы.наверняка, так и есть.
Лучшее место для начала - документы по адресу здесь
AMQP - это стандарт обмена сообщениями, который, тем не менее, определяет протокол на проводной связи и является двоичным.