Как Stateful DoFn определяет ключ к состояниям раздела - PullRequest
0 голосов
/ 28 мая 2019

В следующей документации отмечается, что состояние DoFn с состоянием разделено на ключ для каждого окна.Как этот ключ определяется данным DoFn?

Например, если бы мы создавали наш собственный пользовательский CombinerFn, нам нужно было бы сохранить CombiningState для каждого ключа.Определяется ли это просто тем, что входные данные для DoFn равны KV?Ex.Dofn<KV<Key, Value>, Out>

1 Ответ

0 голосов
/ 28 мая 2019

Это правильно.Значение KV в Beam (вместе с кортежами в Python SDK) является специальным типом, который закодирован, чтобы позволить бегуну распознавать ключ для каждого элемента.

Итак: да, Beam будет выполнять любой ключоперации на основе ключа в KV.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...