Исходя из того, что вы описали, я рекомендую вам проверять наличие исключений SQL при попытке вставить или обновить строку, которая может быть уже кем-то изменена.В этом случае, возможно, вам следует перезагрузить то, что ваше приложение показывает пользователю, чтобы у него были свежие данные.Другой вариант - показать удобную ошибку.
Если ваше приложение выполняет несколько запросов (вставка, обновление) подряд, я предлагаю использовать транзакции.Я думаю, что самый простой способ установить их в настольном приложении - это использовать среду Spring, если вы с ней знакомы.