Как сопоставить орг. apache .spark.rdd.RDD класс? - PullRequest
0 голосов
/ 30 апреля 2020
    RDD<Tuple2<Text, MyDto>> sequenceFile = spark
        .sparkContext()
        .sequenceFile("D:\myPath\\part-00000", Text.class, MyDto.class);

    Tuple2<String, MyDto> first = sequenceFile
        .map(v1 -> Tuple2.<String, MyDto>apply(v1._1.toString(), v1._2), ClassTag$.MODULE$.apply(Tuple2.class))
        .first();

Необходимо передать некоторый ClassTag в качестве второго параметра карты. но когда я делаю это, я получаю:

method map in class org.apache.spark.rdd.RDD<T> cannot be applied to given types;

Он жалуется, что ClassTag$.MODULE$.apply(Tuple2.class) не имеет параметризации. Есть идеи, как создать ClassTag из java с параметрами?

...