Я полагаю, что если вы используете msysgit, то вы можете установить (или, возможно, он уже установлен) openssh.
С openssh вы можете использовать программу командной строки ssh-add
, чтобы добавить ключ один раз и запомнить его:
ssh-add /c/Users/.ssh/id_rsa