Есть ли способ извлечь время начала окна и время окончания окна в потоковой передаче искры?

Question

У меня DSTREAM, по которому я использую window метод.Затем в дальнейшем я делаю другие операции, такие как reduByKey.Можно ли добавить время начала и время окончания окна к данным DSTREAM и использовать его в качестве ключа?

рассмотрим, есть ли у меня DSTREAM со следующей схемой ввода:

(call_id, call_duration, call_count) 

послеоконная операция на DSTREAM, возможно ли произвести следующий вывод?

(window_start_time, window_end_time, average_call_duration, total_call_counts)

Answer 1

dstream.foreachRDD((rdd, time)=> {
  // time is scheduler time for the batch job.it's interval was your window/slide length.
})

Используйте время в качестве параметра вашей функции ETL.