Нет способа гарантировать, что пароли в виде открытого текста будут удалены из памяти в Java.
Однако хакеру не нужен доступ к памяти программы, чтобы получить пароли в виде открытого текста. Существуют гораздо более простые способы (например, прослушивание пакетов), поэтому вряд ли кто-то будет полагаться на этот подход.
Наилучший подход состоит в том, чтобы клиент шифровал пароль, как предлагает @ Mork0075. Однако, хотя это означает, что вы не можете легко получить пароль, программа все равно может получить зашифрованную версию паролей и, таким образом, притворяться пользователем. Обойти это можно путем шифрования всего соединения с использованием SSL.
Все это довольно академично, поскольку самый простой подход для хакера - отслеживать пакеты в базе данных и получать пароль для вашей базы данных. Я подозреваю, что прямой доступ к вашей базе данных больше касается ... или, возможно, это не так. ;)