Я не думаю, что можно получить пароль из хранилища ключей. Keystores - это зашифрованные файлы безопасности. Если бы вы могли получить пароль из файла, то это означало бы, что хакеры могли украсть ваш ключ и использовать его. Тот факт, что ключ перезаписан, не облегчает ситуацию.
Надеюсь, вы еще не сделали свое приложение общедоступным в магазине игр. Единственное решение, о котором я мог подумать, - это создать новое приложение в магазине игр и новый ключ к единству.