Это невозможно.
Вы попросили без сервера создать шаблон CloudFormation, который создает несколько лямбд.Когда AWS выполняет шаблон, он запускает его в облаке от локальных файлов вашего компьютера.Вот почему ваш код упакован, загружен на S3 и сделан доступным для использования в CloudFormation.
CloudFormation позволяет встроить код в шаблон, но без сервера это не поддерживает.И нет никакого способа попросить CloudFormation создать лямбду без кода, прикрепленного для ручной загрузки позже.
Честно говоря, стоимость наличия дополнительного сегмента и нескольких небольших файлов минимальна (если есть).Если проблема касается дополнительного сегмента развертывания, вы можете указать имя сегмента развертывания для нескольких развертываний без сервера.