Отвечая на мой собственный вопрос в случае, если другие ищут эту же проблему. Сначала я убедился, что OpenS SH установлен, настроен и работает.
Затем внутри своей папки .s sh я добавил свой сервер EC2 в список в файле конфигурации.
Наконец, я открыл настройки для терминала и добавил запись для него:
{
"name": "DevBox",
"commandline": "ssh my-ec2-instance",
"icon": "C:/Users/macaw/OneDrive/Pictures/aws.png"
}