Задержка обновления для потока данных UDF - PullRequest
Новая
       37

Задержка обновления для потока данных UDF

0 голосов
/ 29 января 2020

У меня есть поток данных из pub / sub в bigquery, который использует javascript UDF для манипулирования данными. Если я изменяю файл в облачном хранилище, обновляется ли текущий поток данных автоматически, чтобы начать использовать этот новый UDF, есть ли задержка или мне нужно запускать его вручную? Я изменил UDF, но поток данных ведет себя так, как будто он работает со старым.

Кроме того, каков наилучший способ отладки этих UDF, работающих в потоке данных?

Спасибо!

1 Ответ

0 голосов
/ 30 января 2020

Вы имеете в виду Шаблон потока данных, верно?

К сожалению, UDF не обновляет sh при изменении файла. Чтобы обновить новый файл, вам необходимо выполнить обновление конвейера или остановить / перезапустить ваш конвейер.

Что касается отладки пользовательских функций, я не уверен, что лучше; но вы можете получить доступ к конвейерному коду в хранилище DataflowTemplates в Github и отладить конвейер, запустив его локально или написав сокращенную версию.

...