Flink Checkpoint не удалось - отсутствует ответ подзадачи

Question

Ошибка контрольной точки после истечения времени ожидания. Мы заметили, что есть некоторые подзадачи не ответил. Любая идея вызовет эту проблему?

Контекст задания:

Параллелизм: 5

Объем данных: до 40 КБ

BackPressure: отправка другому API в конце задания, которое может занять некоторое время.

отсутствует ответ подзадачи Внешний звонок:

  Future<> future = Producer.send(topic, genericRecord, dataSetID);
  future.get();

  return Boolean.TRUE;

Answer 1

Вероятно, здесь future.get() блокирует и по какой-либо причине не может вернуться в течение интервала ожидания контрольной точки.

Могу предложить, что вместо этого вы используете RichAsyncFunction Флинка.Это будет иметь преимущество в том, что подзадачи не будут блокироваться, что позволяет выполнять контрольные точки.

RichAsyncFunction будет проверять неразрешенные фьючерсы и повторно выдавать эти запросы при восстановлении после сбоя.