Несколько ответов в стеке потока для AWS Glue, скажем, для установки параметра таблицы --conf. Однако иногда в задании нам нужно установить несколько пар ключ -conf в одном задании.
Я пробовал следующие способы, чтобы несколько значений --conf устанавливали все, что приводило к ошибке:
- добавить еще один параметр таблицы с именем --conf. В результате панель инструментов AWS удаляет второй параметр с именем --conf и устанавливает фокус на значение первого параметра с именем --conf. Terraform также просто считает оба параметра таблицы с ключом
--conf равными и перезаписывает значение в 1-м параметре значением 2-го.
- разделяет параметры значения ключа конфигурации пробелом в значении параметра таблицы --conf. НАПРИМЕР.
spark.yarn.executor.memoryOverhead=1024 spark.yarn.executor.memoryOverhead=7g spark.yarn.executor.memory=7g. Это приводит к невозможности запуска задания.
- разделяет параметры значения ключа конфигурации запятой в значении параметра таблицы --conf. НАПРИМЕР.
spark.yarn.executor.memoryOverhead=1024, spark.yarn.executor.memoryOverhead=7g, spark.yarn.executor.memory=7g. Это приводит к невозможности запуска задания.
- установить значение --conf так, чтобы строка
--conf разделяла каждое значение ключа. НАПРИМЕР. spark.yarn.executor.memoryOverhead=1024 --conf spark.yarn.executor.memoryOverhead=7g --conf spark.yarn.executor.memory=7g. Это приводит к зависанию работы клея.
Как настроить несколько параметров таблицы --conf в AWS Glue?