Если вы не хотите изменять программу JModem, то почему бы не использовать полноценную программу связи, которая предоставляет все необходимые вам функции? (Раньше их было тонна, но сейчас вспоминается Кермит). Это было бы проще, чем пытаться заставить две разные программы работать вместе.
Если вы программист на Java, следуйте предложению RoccoD и измените код JModem для набора номера.