Я хочу узнать последнее значение для каждого заданного ключа, и у меня нет метки времени в исходном наборе данных до go by, поэтому я хотел бы использовать метку времени изменения файла в HDFS и хотелось бы выбрать только строку, которая появляется последней в этих файлах.
Есть ли способ сделать это с помощью Spark Structured Streaming?