Поведение обновления контрольной точки AWS KCL на FARGATE - PullRequest
0 голосов
/ 24 февраля 2019

У меня KCL (2.0 / Java), развернутый на FARGATE, который читает несколько шардов.К сожалению, сейчас у меня возникают две проблемы, и я надеюсь, что кто-то может помочь мне:

  1. FARGATE не позволяет корректно завершить работу JVM.
  2. Начиная с 1. значения контрольной точки в LeaseTable на DynamoDBне обновляетсяНовый экземпляр приложения KCL обработает все события в данном шарде.

Что касается 1, я уже обнаружил, что после SIGTERM возникают некоторые проблемы с журналированием в FARGATE, но поскольку контрольные точки шардане обновляется Я предполагаю, что есть общая проблема, избегающая запуска процедур выключения.

Если для 2 кто-то знает, есть ли возможность «вручную» обновить, например, каждые 5 минут, контрольную точкузначение, которое, по крайней мере, уменьшило бы количество повторно обрабатываемых событий.

ОБЩАЯ ИНФОРМАЦИЯ: Когда (кроме отключения) KCL обновляет таблицу аренды?

Thx, gapvision

1 Ответ

0 голосов
/ 25 февраля 2019

Таким образом, получается, что

1) на самом деле является проблемой "докера" и указывает на режим ENTRYPOINT: SIGTERM не получен процессом Java с использованием 'остановки докера' и официальногоИзображение Java

2) - это ручной процесс, внутренний запуск обновления контрольной точки отсутствует.Нужно явно вызвать метод checkpoint(), чтобы обновить указатель

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...