примерно так должно работать:
"[concat('\"{\"swagger\":\"2.0\",\"host\":\"', parameters('ApimServiceUrl'), '\"}\"')]"
Кроме того, я думаю, что все внутри json должно быть экранировано с помощью \\\
:
"[concat('\"{\\\"swagger\\\":\\\"2.0\\\",\\\"host\\\":\\\"', parameters('ApimServiceUrl'), '\\\"}\"')]"