java .io.NotSerializableException: org. apache .spark. sql .Column, когда я создал новый столбец, используя условие с UDF

Question

Я создал фрейм данных на основе текстовой сводки, чтобы найти частоту документов (DF) и частоту обратных документов (IDF).

Вот столбцы с частотой документа и токенами слова -

Однако, когда я пытаюсь вычислить IDF для каждой строки в кадре данных, используя пользовательскую функцию, я получаю упомянутую ошибку.

Вот код для udf (который перебирает каждую строку) и функция (которая рассчитывает IDF)

Answer 1

Возможно, вам не нужно писать функцию для вычисления IDF самостоятельно, поскольку она уже реализована в spark-mllib, см .:

https://spark.apache.org/docs/latest/mllib-feature-extraction.html#tf -idf

Кроме того, не видя, как определяется функция calcIDF, мы не можем оказать большую помощь по NotSerializableException.