df = df.withColumnRenamed('mail', 'EmailAddress')
изменяет нулевой тип i, объявленный как часть схемы (объявленный как false). Есть ли способ не допустить этого?
Ничто в документации pyspark ничего не упоминает.
schema = StructType([StructField("mail", StringType(), False)])
df = spark.read.json(inputPath, schema = schema)
df = df.withColumnRenamed('mail', 'EmailAddress')
df.printSchema()
это выводит:
|-- EmailAddress: string (nullable = true)