Вход Pub / Sub в шаблонном потоке данных полностью игнорирует NestedValueProvider - PullRequest
Новая
       144

Вход Pub / Sub в шаблонном потоке данных полностью игнорирует NestedValueProvider

0 голосов
/ 26 мая 2020

Я создал шаблон для потока данных, который читает сообщения из Pub / Sub. Проблема в том, что NestedValueProvider невозможно изменить, отправленное через значение параметров, и я не знаю, почему - под некоторыми экранами параметр:

enter image description here

Код:

enter image description here

Результат:

enter image description here

Если кто-нибудь спросит, зачем мне его вставлять - я хотел только добавить subscriptionID и просто добавить префикс с остальной частью пути ..

РЕДАКТИРОВАТЬ

Мои шаги:

1. Созданный конвейер, который считывается из подписки Pub / Sub и для имени подписки использует NestedValueProvider для создания имени подписки 

pipeline.apply(
                            "Read PubSub messages",
                            PubsubIO.readStrings().fromSubscription(
                                    NestedValueProvider.of(
                                            options.getSubscriptionID(),
                                            input -> "projects/ozone-analytics-dev/subscriptions/" + input)
                            )
                    )

2.Созданный шаблон

3.Запуск шаблона с действующим и существующим идентификатором подписки

4.Обнаружение ошибки при создании задания потока данных (я думаю, что задание даже не началось и эта ошибка связана с предварительной проверкой, потому что я могу запустить это поток локально или нормально с DataflowRunner, но не через шаблон) enter image description here

1 Ответ

0 голосов
/ 29 мая 2020

После анализа - это скорее ошибка Google Dataflow, которая связана только с проверкой создания шаблона (потому что любой другой способ запуска Dataflow работает правильно)

Я создал проблему для этого https://issuetracker.google.com/u/1/issues/157584222

А пока это решение этой проблемы

...