NameError: имя 'split' не определено с помощью Spark - PullRequest
Новая
       77

NameError: имя 'split' не определено с помощью Spark

1 голос
/ 11 декабря 2019

Я работал над большим набором данных со Spark. На прошлой неделе, когда я запускал следующие строки кода, он работал отлично, теперь выдает ошибку: NameError: имя 'split' не определено. Может кто-нибудь объяснить, почему это не работает и что мне делать? Разделение имен не определено ... Должен ли я определить метод? Это зависимость, которую я должен импортировать? В документации не сказано, что я должен что-то импортировать, чтобы использовать метод split. Код ниже. 

test_df = spark_df.withColumn(
  "Keywords", 
   split(col("Keywords"), "\\|")
)

1 Ответ

2 голосов
/ 11 декабря 2019

Вы можете использовать pyspark.sql.functions.split() (ссылка)

Или вы можете импортировать все функции Spark с помощью 

from pyspark.sql.functions import *
...