Переименование файла Pyspark в HDFS - PullRequest
0 голосов
/ 08 мая 2020

Я использую Spark 2.3.1 и хочу переименовать файл HDFS в программе pyspark. Я следую этому ответу [{ ссылка }] (Pyspark)

Для этой строки

fs.rename (Path (hdfs_dir + '' + file_name) , Path (hdfs_dir + '' + new_filename))

Я получаю следующую ошибку.

NameError: имя «Путь» не определено

Если я удалю ключевое слово Path из строки

Я получаю следующую ошибку.

Py4JError: Произошла ошибка при вызове o562.rename. След: py4j.Py4JException: переименование метода ([class java .lang.String, class java .lang.String]) не существует

Итак, как решить эту проблему?

1 Ответ

1 голос
/ 08 мая 2020

Определите путь как

Path = sc._gateway.jvm.org.apache.hadoop.fs.Path
...