Основной ответ на этот вопрос состоял в том, что я не понял, что вам нужно создать базу данных в Azure для подключения к развернутому приложению, и вам нужно установить строку подключения в качестве переменной env в Azure, чтобы она знала где искать, и вы также должны добавить код, который автоматически обновляет базу данных при запуске.
Это руководство помогло с этим: https://docs.microsoft.com/en-us/azure/app-service/app-service-web-tutorial-dotnetcore-sqldb
Затем я столкнулся с другой проблемой, когда развернутое приложение все еще возвращало общую ошибку 500 сервера. Включив «Диагностические журналы» через портал Azure и загрузив журналы, я увидел эту подробную ошибку: The configuration section 'httpProtocol' cannot be read because it is missing a section declaration, ссылающуюся на фрагмент конфигурации в моем Web.config. Я удалил его (пока он мне не нужен), и это решило проблему