Сначала ознакомьтесь с тем, как приложения используются в Linux. Это облегчит процесс и поможет вам хорошо выполнять свою работу.
Во-вторых, удалите любые жестко закодированные пути любого вида из вашего исходного кода. Все пути должны быть указаны пользователем или, по крайней мере, сохранены в файле .properties и считаны во время выполнения. Это хорошая практика, даже если вы ориентируетесь только на одну ОС: почему вы ожидаете, что ваши пользователи в порядке, если вы поместите новую папку на диск C: в Windows?
Что касается того, куда идут ваши файлы, самый простой способ справиться с этим - создать один тарбол (архив tar.gz), содержащий все ваши JAR-файлы и другие ресурсы, и один скрипт оболочки Bourne, называемый именем вашей программы. (без продления). Сценарий может найти JAR-файлы и запустить исполняемый файл java (обычно под /usr/bin/java), чтобы запустить ваше приложение.
Вы, вероятно, получите больше помощи, если зададите конкретные вопросы о конкретных шагах проблемы. Если вы просто ищете такие вещи, как расположение соответствующих папок, то, вероятно, правильное место: unix.stackexchange.com ; если вам нужна помощь на уровне пользователя, то askubuntu.com , вероятно, правильное место.