Использование преобразования Wrangler в конвейере, который принимает данные из PubSub в Data Fusion - PullRequest
Новая
       70

Использование преобразования Wrangler в конвейере, который принимает данные из PubSub в Data Fusion

0 голосов
/ 14 июля 2020

В настоящее время я разрабатываю конвейер, который принимает данные из подписки PubSub, после того, как я прочитал сообщение из подписки, я использую плагин Projection, чтобы преобразовать его в UTF-8, чтобы я мог прочитать содержимое, после директивы, использующие преобразование обработчика из плоского файла в качестве источника (поскольку в обработчике нет опции pubsub, я просто создал файл вручную с содержимым, которое я хотел преобразовать, и прочитал его в обработчике), это следующие директивы: 

parse-as-json :body 1
parse-as-json :body_attributes 1
parse-as-json :body_attributes_key 1
find-and-replace body_message s/,/}, {/g
parse-as-csv :body_message ',' false
drop body_message
parse-as-json :body_message_1 1
parse-as-json :body_message_2 1
parse-as-json :body_message_3 1
parse-as-json :body_message_4 1
parse-as-json :body_message_5 1
parse-as-json :body_message_6 1
parse-as-json :body_message_7 1
parse-as-json :body_message_8 1
parse-as-json :body_message_9 1
parse-as-json :body_message_10 1

Когда я пытаюсь предварительно просмотреть конвейер, он ничего не показывает, я уже пытался изменить имена столбцов в директивах, но все равно результат тот же.

Что я делаю не так?

Заранее спасибо.

...