Вы можете указать, какой ключ использовать для конкретного хоста в файле .ssh/config
.Пример:
Host aws-instance
HostName <IP or hostname>
User ubuntu
IdentityFile /home/username/.ssh/key.pem
Это даже позволяет вам пропустить имя пользователя при подключении, просто выполните
ssh aws-instance
Для получения подробной информации о возможных параметрах конфигурации см. https://linux.die.net/man/5/ssh_config