Скорее всего, встречаются следующие вещи:
- вы запускаете jshell таким образом, что он не позволяет запускать / поднимать ваш предпочтительный редактор
- это предпочтение определяется путем просмотра некоторых переменных окружения (см. здесь для имен / порядка)
Таким образом, простое решение может быть следующим: установить переменную среды JSHELLEDITOR на то, что нене требуется окно X, как, например, vi.