Apache Beam раздвижные окна

Question

Давайте предположим, что у меня есть окно 2 часа, которое запускается каждую минуту. Следующим шагом будет применение преобразования GroupBy.

Содержит ли он копии перекрывающихся данных для каждого окна отдельно в памяти? Или Apache Beam имеет логику, чтобы знать, что запись A принадлежит нескольким окнам?

Я был бы благодарен за объяснение этого. Не могу найти нужную информацию

Answer 1

Это деталь реализации, которую авторы конвейера не должны наблюдать (или наблюдать). Луч / бегун могут потенциально решить объединить несколько преобразований и сохранить и повторно использовать элементы в памяти. Или нет.

Я не знаю, рассматривается ли эта конкретная тема, но несколько слов об неизменности элементов в конце раздела ParDo в руководстве по программированию . И общее описание модели исполнения Beam здесь .