Это не разумный курс действий.
Файл JAR - это, в основном, файл ZIP. Чтобы переписать его содержимое, вам нужно извлечь его полностью, внести необходимые изменения, а затем записать их в новый файл, который заменит старый.
Если программа, которая собирается сделать это, та же самая, что и содержащаяся в файле JAR, это становится невозможным, поскольку файл защищен от записи во время выполнения.
Вам бы лучше было хранить свою конфигурацию в другом месте.