Как настроить разделение и разделы в Spark - PullRequest
Новая
       19

Как настроить разделение и разделы в Spark

0 голосов
/ 04 февраля 2019

Как настроить разделение при повторном разбиении в Spark.Я ищу эквивалентную реализацию методов MapReduce hasMoreKeyValue (), nextKeyValue (), разновидности методов в Spark для настройки разбиения границ при параллельной обработке при преобразовании и для настройки итерации следующего значения, передаваемого в преобразования. 

Eg Scenario:
Data is like ticket threads, each element in the thread has a chain of elements and each element has 3 parts.

1 # Problem OR Hand over Recommendation Annoted as @Problem or @HandOver 
2 # Action taken so far      "" @Action
3 # Hand Over Recommendation OR closing Note   "" @HandOver or @closing.

Tail of an Element, if not a closingNote would be head of the next element.
Similarly Head of an element if its not annotated as @Problem would be tail of previous element.

In another words, @HandOver could act as tail for one element and head for the next.

Данные, которые уже загружены в RDD из текстового файла, необходимо переназначить.Каждый раздел может содержать несколько элементов, но не должен содержать частичный элемент.

...