Использование библиотеки производителя Kinesis в Spark

Question

У меня Spark job читает миллионы записей с Кассандры, отфильтровывает (бизнес-правила) и записывает в поток Kinesis.Я не нашел ни одного примера и отзыва о том, как вызвать KPL (Kinesis Producer Library) из Spark.Это правильный подход?Есть ли у меня другой вариант?

Answer 1

вы можете создать производителя KPL для каждого раздела, а затем для каждого раздела вы можете отправить сообщение.Держите разделы небольшими, чтобы избежать перегрузки узлов задачи / ядра.