Когда вы упаковываете свое приложение в файл JAR, ваш файл свойств будет одним (возможно, сжатым) файлом в этом JAR, и было бы плохой идеей попытаться записать в свой собственный JAR.
getResourceAsStream()
предназначен для открытия ресурсов для чтения, и они могут находиться в любом месте на пути к классам. Вы не можете писать по URL-адресам или внутри JAR-файлов, вы можете писать только в файлы, поэтому нет смысла предоставлять вам один и тот же API для вывода.
Найдите себе каталог, в который вам разрешено писать, и укажите свои свойства там.
Это может быть хорошей идеей скопировать ваши свойства из пути установки вашего класса (возможно, внутри JAR) напрямую в файл, если он еще не существует, в качестве первой операции при запуске приложения. Это даст вам файл свойств, в который вы можете записать, но основная копия этого файла свойств будет получена из вашего проекта.