Я пытаюсь запустить файл hql для моего кластера HDInsight, используя powershell, как показано ниже:
$hiveJobDefinition = New-AzureRMHDInsightHiveJobDefinition -Query $queryString
$hiveJob = Start-AzureRMHDInsightJob -ClusterName $clusterName -JobDefinition $hiveJobDefinition -ClusterCredential $creds
Но в интерфейсе пряжи я вижу, что приложение просто находится в принятом состоянии, ожидая ресурсов, и выполняетне бегать по крайней мере 24 часа.То же самое легко выполнить, как действие HDInsightSpark в конвейере ADF, где я могу определить ресурсы в sparkconfig.Я хочу сделать то же самое с помощью PowerShell, но я не могу найти способ сделать это.В документации (https://docs.microsoft.com/en-us/powershell/module/azurerm.hdinsight/new-azurermhdinsighthivejobdefinition?view=azurermps-6.13.0) упоминается параметр «определяет», который, как мне кажется, должен использоваться для установки конфигурации config. Но я нигде не смог найти ни одного примера, в котором бы упоминалось, как именно его использовать. Значения конфигурации config iхотите определить что-то вроде ниже. Есть ли способ сделать это?
"spark.app.name": "my app",
"spark.executor.instances": "40",
"spark.executor.memory": "12g",
"spark.driver.memory": "12g",
"spark.executor.cores": 6,
"spark.memory.useLegacyMode": true,
"spark.storage.memoryFraction": "0.01",
"spark.shuffle.memoryFraction": "0.80",
"spark.yarn.executor.memoryoverhead": "1050",
"spark.serializer": "org.apache.spark.serializer.KryoSerializer",
"spark.yarn.queue": "thriftsvr"