Чтение файла Excel (.xlsx) в pyspark

Question

Я пытаюсь прочитать файл .xlsx по локальному пути в PySpark.

Я написал следующий код:

from pyspark.shell import sqlContext
from pyspark.sql import SparkSession

spark = SparkSession.builder \
      .master('local') \
      .appName('Planning') \
      .enableHiveSupport() \
      .config('spark.executor.memory', '2g') \
      .getOrCreate()

df = sqlContext.read("C:\P_DATA\tyco_93_A.xlsx").show()

Ошибка:

TypeError: объект 'DataFrameReader' не может быть вызван

Answer 1

Вы можете использовать pandas, чтобы прочитать файл .xlsx, а затем преобразовать его в искровой фрейм данных.

from pyspark.sql import SparkSession
import pandas

spark = SparkSession.builder.appName("Test").getOrCreate()

pdf = pandas.read_excel('excelfile.xlsx', sheet_name='sheetname', inferSchema='true')
df = spark.createDataFrame(pdf)

df.show()