Я обнаружил, что язык компилятора по умолчанию должен быть указан в файле web.config.
По некоторым причинам это не указано в моем проекте (который был построен с помощью шаблона Visual Studio). Похоже, что при локальном запуске система ASP правильно выводит язык по умолчанию, но при запуске на удаленном сервере по умолчанию используется Visual Basic.
Настройка языка компилятора по умолчанию устанавливается следующим образом:
<compilation
defaultLanguage="c#"
/>
где тег компиляции находится в теге system.web, который находится в теге конфигурации. Обратите внимание, что в defaultLanguages есть заглавная буква L. Также обратите внимание, что обычно этот тег уже присутствует с большим количеством другой информации, вам просто нужно добавить атрибут defaultLanguage.