Макросы в Datafusion с использованием метода аргументации

Question

Используя метод установки аргумента, предоставив значение параметра, я хочу сделать конвейер Datafusion возобновляемым. Как уже говорилось во многих других ответах, пытались реализовать с использованием примера конвейера многократного использования в облаке, приведенного в руководстве Google. Я не смог передать параметр Json file.So, как создать API для этого параметра Json файл, хранящийся в хранилище Google . Пожалуйста, объясните значения, которые нужно передать установщику аргументов, например, URL, Запрос ответа и т. Д. c., Если кто-либо из вас реализовал в своих проектах.

Спасибо.

Answer 1

Плагин ArgumentSetter читает из конечной точки HTTP, и он должен быть общедоступным, как показано в документации GCP . В настоящее время не существует способа чтения из файла, не публикуемого c, хранящегося в GCS. Об этом поведении сообщают, чтобы быть улучшенным к CDAP через этот билет .

Answer 2

Не могли бы вы указать, что вы уже пробовали и где вы застряли?

Поле URL в установщике аргументов будет содержать конечную точку API, к которой вы обращаетесь. Убедитесь, что вы включили любые заголовки, которые понадобятся вашему вызову, такие как Авторизация, Принять и т. Д. c.

Если у вас возникают проблемы с установщиком аргументов, хорошей проверкой является использование Curl или любого другого инструмента, чтобы убедиться, что вы ' Вы можете связаться с конечной точкой, которую вы пытаетесь использовать.

Вот некоторая документация об установщике аргументов: https://github.com/data-integrations/argument-setter

Answer 3

Определите файл JSON с соответствующими парами имя / значение. Загрузите его в корзину GCS - опубликуйте его c, изменив разрешения (добавьте «allUsers» в список разрешений). Когда вы сохраните его, в файле появится сообщение «Publi c to Inte rnet». Скопируйте путь https к файлу и используйте его в «Установщике аргументов». Если вы можете получить доступ к этому пути из curl / вашего браузера, Argument Setter также сможет это сделать ..

Однако при использовании Argument Setter я столкнулся с другими проблемами - канал не заменять аргументы времени выполнения на значения по умолчанию, указанные в URL-адресе много раз, особенно когда канал дублируется.

Чтобы файл был опубликован c