Spark Kinesis Streaming с расширенным разветвлением - PullRequest
Новая
       23

Spark Kinesis Streaming с расширенным разветвлением

1 голос
/ 26 января 2020

Я передаю данные из Kinesis в Spark, используя - spark- sql -kinesis_2.11-2.4.0.jar. Ниже приведена конфигурация, которую я имею 

sdf1 = spark \
  .readStream \
  .format("kinesis") \
  .option("streamName", "Sample-stream") \
  .option("initialPosition", "latest") \
  .option("region", "us-east-1") \
  .option("awsAccessKeyId", awsAccesskey) \
  .option("awsSecretKey", awsSecretkey) \
  .load()

Я изменил своего пользователя Kinesis как расширенного разветвленный потребитель. Как только опция расширенного разветвления включена, вышеуказанная конфигурация больше не работает. Есть ли у нас какой-либо вариант потребления потока Kinesis от spark в качестве расширенного потребителя разветвления?

Похоже, python boto3 также не поддерживает http2. Я хорош с любым вариантом в python, чтобы потреблять от kinesis как расширенный потребитель разветвления.

...