Согласно этой документации Github , единственный действительно безопасный способ удаления ваших ключей / паролей из git - это перегенерировать ключи / пароли, как указывает @ max630.
Это путь, который я выбрал.
Что касается хранения ключей в другом месте, я пока решил просто хранить их в S3.Это может быть недостаточно безопасно для вас, но теперь это работает для моих целей.