Опрос внешнего источника данных в Flink Operator

Question

У меня есть без ключа FilterFunction, в котором хранится набор элементов, которые он должен отфильтровать.Мне нужно, чтобы этот набор регулярно обновлялся из внешнего HTTP API.По мере поступления элементов мы проверяем, есть ли они в списке, и отфильтровываем их, если нет.

Несколько конкретных вопросов:

• Существуют ли лучшие рекомендации по настройкеполлер, например, с ScheduledThreadPoolExecutor, внутри FilterFunction?
• Как я могу убедиться, что в каждый момент времени есть только один опросчик, надеюсь, не устанавливая параллелизм фильтра в 1?
• Должен ли я хранить возвращенные элементы в управляемом ListState или необработанном состоянии?

Answer 1

Вот предложение, которое должно помочь решить некоторые из вопросов, о которых вы спрашивали:

Создайте пользовательский источник, который выполняет опрос, с параллелизмом 1. Он может транслировать то, что находит, флотуBroadcastProcessFunctions, которые выполняют фильтрацию.Сохраняйте набор разрешенных элементов в MapState, что сделает поиск фильтров эффективным.