Если кто-то полностью контролирует ваш сервер и интересуется этими паролями, он добьется успеха. Всегда учитывайте это и планируйте, что делать в этом случае.
Теперь, чтобы сделать это как можно более трудным и невероятным, я предлагаю сохранить ключ (или, лучше сказать, пароли) в какой-то таблице памяти: например, на Ramdisk, скрипте, который выдаст только один пароль в минуту и удалить себя, если вызывается более того и т. д.
Я не вижу никакого положительного эффекта от использования шифрования с открытым ключом, ключ для дешифрования должен храниться на сервере независимо от того, что вы используете. Вы можете найти Howtos, которые описывают проблему https-сертификатов, они должны быть защищены парольными фразами и должны быть прочитаны при запуске сервера - проблема связана.
Вероятно, хорошим решением было бы войти на сервер, сохранить файл паролей на виртуальном диске и выйти из системы. Повторите при перезагрузке сервера, сбое или смене пароля.