Я считаю, что наиболее распространенный способ сохранить строку подключения приложения ASP.NET в секрете - поместить строку подключения в реестр веб-сервера, а затем просто загрузить это значение на веб-сайт ASP.
Но даже если вы были против регистрации или хотели использовать кроссплатформенный метод, я думаю, что вам лучше всего поставить строку в такое место, где посторонние не смогут ее прочитать. Это может быть за пределами корневого каталога веб-сайта (если это веб-сайт), или запрашивать у пользователя (не хранить его вообще), или скрывать его где-то еще. В Linux вы можете даже использовать chmod 700, чтобы ограничить доступ только пользователю, который запускает Java-программу.