Да, каждый экземпляр лямбда-выражения полностью изолирован и работает как один поток. Так что в вашем случае будет много подключений к базе данных.
Одна проблема с вашей архитектурой заключается в том, что вы пытаетесь смешать масштабируемый ресурс в этом случае лямбда с немасштабируемым ресурсом в этом случае реляционной базой данных. Я видел, как такие установки взорвались очень впечатляюще.
Итак, в вашем случае я бы либо go с несколькими c серверами, на которых запущен Kestrel, либо другой высокопроизводительный веб-сервер, либо заменил бы реляционная база данных с чем-то, что может плавно масштабироваться, например DynamoDB или, возможно, AWS Aurora