Flink SQL Job не хватает места в куче

Question

Я выполняю запрос для объединения потока и таблицы, как показано ниже.Это исчерпывает пространство кучи.Несмотря на то, что в кластере flink достаточно места в куче (60 ГБ * 3)

Требуется ли для этого запроса стратегия удаления?

SELECT sourceKafka.* FROM sourceKafka INNER JOIN DefaulterTable ON sourceKafka.CC=DefaulterTable.CC;

Answer 1

Если таблица, к которой вы хотите присоединиться к потоку, является статической, то вы могли бы реализовать свое собственное объединение, которое было бы намного лучше.

Один из способов сделать это - использовать API процессора состояний, чтобы создать точку сохранения с статической таблицей в состоянии Flink, а затем реализовать объединение в качестве функции KeyedProcessFunction.

Если вам нужночтобы периодически обновлять «статическую» таблицу, тогда должно быть работоспособным использование KeyedCoProcessFunction и потоковая передача при случайном обновлении.