MapPartition в Spark Java

Question

У меня есть JavaRDD.Я пытаюсь сделать mapPartition и передать каждую строку для каждого раздела в функцию, которая принимает String в качестве параметра.

rdd.mapPartitions((Iterator<String> iter) -> {
            Dummy dummy = new Dummy();
            Iterable<String> iterable = () -> iter;
            return StreamSupport.stream(iterable.spliterator(), false)
                    .map(s -> dummy.method(s)) // or whatever transformation
                    .iterator();
        });

Но я не могу вызвать функцию класса (dummy.method) внутри карты,Как мне решить эту проблему?

Answer 1

Перемещение Dummy dummy = new Dummy(); внутри карты для потока.