Необходимо соблюдать баланс между безопасностью и простотой использования. Я видел, что ssh-ключи без парольной фразы для доступа к git довольно распространены, в основном из-за удобства. Я предпочел бы иметь пароль без паролей, чем пытаться использовать какие-то хакерские способы написания сценариев push и pull.
Просто убедитесь, что ключи хранятся только в вашей папке $ HOME в Windows, и вы должны быть в безопасности.
Если у кого-то есть доступ к вашей личной папке, у вас все равно будут большие проблемы.