withColumnRenamed изменяет нулевой тип столбца - PullRequest
1 голос
/ 03 июля 2019
df = df.withColumnRenamed('mail', 'EmailAddress')

изменяет нулевой тип i, объявленный как часть схемы (объявленный как false). Есть ли способ не допустить этого?

Ничто в документации pyspark ничего не упоминает.

schema = StructType([StructField("mail", StringType(), False)])
df = spark.read.json(inputPath, schema = schema)
df = df.withColumnRenamed('mail', 'EmailAddress')
df.printSchema()

это выводит:

 |-- EmailAddress: string (nullable = true)
...