Spark Streaming Kinesis раздел ключ и порядковый номер войти в систему java - PullRequest
Новая
       17

Spark Streaming Kinesis раздел ключ и порядковый номер войти в систему java

1 голос
/ 06 апреля 2020

Мы используем свечи 2.4.3 в java. Мы хотели бы записать ключ раздела и порядковый номер каждого события. Перегруженная функция создания потока утилит kinesis всегда выдает ошибку компиляции. 

Function<Record,Record> printSeq = s -> s;
KinesisUtils.createStream(
  jssc,
  appName,
  streamName,
  endPointUrl,
  regionName,
  InitialPositionInStream.TRIM_HORIZON,
  kinesisCheckpointInterval,
  StorageLevel.MEMORY_AND_DISK_SER(),
  printSeq,
  Record.class);

Исключением является следующее:

не найден подходящий метод для createStream (org. apache .spark.streaming.api. java .JavaStreamingContext, java .lang.String, java .lang.String, java .lang.String, java .lang.String, com.amazon * * .services.kinesis.clientlibrary.lib.worker.InitialPositionInStream одна тысяча двадцать три, org. apache .spark.streaming.Duration, org. apache .spark.storage.StorageLevel, java .util.function.Function, java .lang.Class)

JAVA DOCS: https://spark.apache.org/docs/latest/api/java/org/apache/spark/streaming/kinesis/KinesisUtils.html#createStream -org. apache .spark.streaming.api. java .JavaStreamingContext- java .lang.String- java .lang.String- java .lang.String- java .lang.String-com.amazon aws .services.kinesis.clientlibrary.lib.worker.InitialPositionInStream-орг. apache .spark.streaming.Duration-орг. apache. spark.storage.StorageLevel-org. apache .spark.api. java .function.Function- java .lang.Class-

Есть ли выход?

...