Как установить время ожидания обработки в пакетных заданиях apache beam / Dataflow python? - PullRequest
0 голосов
/ 01 апреля 2020

В настоящее время я использую библиотеку stopit https://github.com/glenfant/stopit, чтобы установить тайм-ауты обработки каждого элемента в пакетных заданиях. Эти задания работают на непосредственном исполнителе, и я могу использовать функции тайм-аута, которые занимают слишком много времени.

Каков лучевой способ установки времени ожидания для каждого элемента для пакетного задания?

Есть ли Как я могу установить время ожидания обработки с триггером для пакетного задания потока данных?

Мой вариант использования извлекает именованные объекты из текста. Процесс NER иногда занимает слишком много времени, если обрабатываемый документ слишком длинный.

Было бы неплохо избавиться от этой зависимости и перейти к собственному решению луча.

...