Поскольку ASP. NET Core 3.1 LTS является новым, поэтому на момент создания не было доступно в windows, но хитрость заключается в том, чтобы просто создать с помощью 3.0 и после создания службы приложения Вы можете опубликовать sh ваш проект 3.1 в azure и он будет работать хорошо.
Выберите. NET Core 3.0 и Windows, и тогда он будет работать для запуска. NET Приложение Core 3.1. Доступность 3.1 SDK, который необходим только для создания приложения 3.1, можно найти здесь.
Для получения дополнительной информации вы можете обратиться к этой проблеме о. NET Доступность ядра 3.1 в службе приложений.