Apache Beam: делиться ресурсами между всеми потоками в экземпляре

Question

В FoDn у нас есть @Setup, который идеально подходит для инициализации ресурсов с несколькими пакетами. Распределяется ли это между процессорами? Другими словами, нужно ли статически управлять ресурсами, чтобы они были распределены между всеми процессорами?

Answer 1

@Setup вызывается для каждого экземпляра DoFn, который всегда является локальным для одного потока. Если вы хотите совместно использовать ресурс в процессе, вы можете управлять им вручную с помощью статических / глобальных переменных. (Для этого между процессами, вероятно, потребуется какая-то блокировка файла.)