Может кто-нибудь объяснить мне, почему RDDFunctions.sliding должен возвращать пустой RDD, если размер окна превышает общее количество элементов?
RDDFunctions.fromRDD(rdd).sliding(500)
Возвращает СДР из группировки элементов своего родительского СДР в блоки фиксированного размера, передавая скользящее окно над ними. Порядок сначала определяется на основе индекса раздела, а затем порядка элементов в каждом разделе. Это похоже на скольжение в коллекциях Scala, , за исключением того, что оно становится пустым СДР, если размер окна превышает общее количество элементов . Необходимо запустить задание Spark, если родительский RDD имеет более одного раздела и размер окна больше 1.