Не видя всей конфигурации, я не могу подтвердить, что это будет работать, но я бы попробовал добавить локатор, чтобы убедиться, что он захватывает эту строку и выполняет преобразование.
Так что вместо
<authentication mode="Forms" xdt:Transform="Replace">
Что будет совпадать с этим на этом пути
Попробуйте
<authentication mode="Forms" xdt:Transform="Replace" xdt:Locator="Match(mode)">
, который явно выберет узел аутентификации в этом xpath, где mode = Forms, который должен давать 1 и только 1, соответствует механизму преобразования и выполнять замену.
Если это не сработает, я бы немного повернул вспять, чтобы увидеть, действительно ли оно преобразуется (в чем я сомневаюсь), изменив loginUrl и преобразование, чтобы посмотреть, выходит ли оно с другой стороны.
Скорее всего, вы где-то получаете ошибку преобразования и она просто не применяется.