JBoss 5 и 6 используют разные реализации JMS (JBoss Messaging и HornetQ соответственно), поэтому я подозреваю, что они не совместимы. Тем не менее, поскольку HornetQ основан на кодовой базе Jboss Messaging, возможно, что посредник HornetQ в JBoss 6 можно сделать взаимодействующим, но это будет непросто.
Я предлагаю просмотреть документацию HornetQ, чтобы посмотреть, возможно ли это.