Мы разрабатываем сервис потоковой обработки, который идет из Кинезиса во Флинк.
- Службе потребуется вызвать несколько внешних API-интерфейсов для обогащения потока данных, поэтому в нашем случае будет использоваться Async / IO API.
- В случае каких-либо исключений мы хотели бы записать события в приемник и выборочно воспроизвести сообщения для Flink для повторной попытки.
- У нас есть контроль над Kinesis, Kinesis позволяет воспроизводить сообщения до 7 дней с расширенным хранением данных, но не выборочно, и мы хотим хранить дольше
Мы думаем о побочных выводах потока исключений и сохраняем их в отдельном приемнике. Существует ли механизм для передачи данных из приемника в Kinesis с минимальными ручными усилиями? мы не решили, какую раковину мы будем использовать. Есть ли лучшее решение или рекомендация?