Есть ли ограничение для Spark Event Time Streaming на количество окон, которые вы можете держать параллельно?
В общем, я бы предположил, что это зависит от доступной памяти на исполнителя и объема данных, которые вы используетевнутри окна, но в мастере могут быть некоторые метаданные для хранения ссылок о существовании всех окон.
Кто-нибудь знает, есть ли какие-либо статьи или официальные заявления по этому поводу?
Предположим, я хотел бы создать несколько миллионов окон, содержащих только небольшие данные, например, 120 строк.Не приведет ли это к огромным накладным расходам метаданных, которые могут помешать некоторым ограничениям?