Как использовать карту в спарк без реализации Serializable?

Question

Я использовал map() в своем коде, и он выдал NotSerializableException, поэтому я реализовал Serializable.
Есть ли другой способ преодолеть это исключение или карта всегда использует Serializable?

Dataset<Row> outdf=indf.map(new MapFunction<Row,Row>() {

    @Override
    public Row call(Row row){
          //Calling another function in another class 

       return r;//r is also a row
     }
},encoder);

Answer 1

Внутри функции вызова, если вы используете что-то (переменную, объект), которое находится в вашем классе Mapping, этот класс Mapping должен реализовать Serializable.

См. Эту статью .