При чтении DataFrames, файл .csv в PySpark. Я получаю эту ошибку "имя" искра "не определено"

Question

rom pyspark import SparkConf
из pyspark.context import SparkContext
из pyspark. sql import SparkSession, SQLContext

из pyspark. sql .types import *

df = spark.read.csv ("/ home / sourabh / Downloads / 1535617931_LMS_DATA_1.csv", inferSchema = True, заголовок = True) df.printSchema ()

Answer 1

Это потому, что вы не создали ни одного экземпляра сеанса spark до выполнения spark.read, вам придется создать объект SparkSession, и это можно сделать, как spark = SparkSession.builder().getOrCreate() Это самый простой c способ его определения Вы можете добавить конфигурации к нему, используя .config("<spark-config-key>","<spark-config-value>").