Как сделать недавно сгенерированный столбец обнуляемым? - PullRequest
0 голосов
/ 17 мая 2019

Я создаю новый столбец и превращаю его в целоеНо столбец не обнуляется.Как я могу сделать новый столбец обнуляемым?

from pyspark.sql import functions as F
from pyspark.sql import types as T
zschema = T.StructType([T.StructField("col1", T.StringType(), True),\
                               T.StructField("col2", T.StringType(), True),\
                       T.StructField("time", T.DoubleType(), True),\
                     T.StructField("val", T.DoubleType(), True)])
df = spark.createDataFrame([("a","b", 1.0,2.0), ("a","b", 2.0,3.0) ], zschema) 
df.printSchema()
df.show()

df = df.withColumn("xcol" , F.lit(0)) 
df = df.withColumn( "xcol" , F.col("xcol").cast(T.IntegerType()) )

df.printSchema()
df.show()

1 Ответ

0 голосов
/ 17 мая 2019
df1 = df.rdd.toDF()
df1.printSchema()
root
 |-- col1: string (nullable = true)
 |-- col2: string (nullable = true)
 |-- time: double (nullable = true)
 |-- val: double (nullable = true)
 |-- xcol: long (nullable = true)    
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...