Как устранить ошибку NameError: имя SparkConf не определено в pycharm - PullRequest
Новая
       6

Как устранить ошибку NameError: имя SparkConf не определено в pycharm

0 голосов
/ 20 июня 2020 
from pyspark import SparkContext
from pyspark.sql import SparkSession
from pyspark.sql.types import *
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.databricks:spark-xml_2.10:0.4.1 pyspark-shell'
conf = SparkConf().setAppName('Stackoverflow')
sc = SparkContext(master="local", appName="test")
sc.setLogLevel("Error")
spark = SparkSession.builder.getOrCreate()
df=spark.read.format("com.databricks.spark.xml").option("rowTag","Transaction").load("C:/Users/Rajaraman/Desktop/task/data/transactions.xml")

Невозможно выполнить отслеживание (последний вызов последний): файл «C: / Users / Rajaraman / test.py», строка 6, в conf = SparkConf (). SetAppName ('Stackoverflow' ) NameError: имя SparkConf не определено

любезно просмотрите

1 Ответ

0 голосов
/ 20 июня 2020

Вам необходимо импортировать библиотеки, указанные в коде

Добавьте эту строку, чтобы импортировать указанный пакет 

from pyspark import SparkConf, SparkContext
...