Есть ли способ взять файл csv как есть? .... можем ли мы прекратить ставить имя по умолчанию в пустой столбец - PullRequest
Новая
       8

Есть ли способ взять файл csv как есть? .... можем ли мы прекратить ставить имя по умолчанию в пустой столбец

1 голос
/ 13 января 2020

csv-data

Я хотел удалить пустой столбец из фрейма данных 

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Test_Parquet").master("local[*]").getOrCreate()
names = spark.read.csv("name.csv", header="true", inferSchema="true")
names.show()

Это фрейм данных создан из файла name.csv 

+-------+---+---+---+-----+----+
|   Name|  1|Age|  3|Class| _c5|
+-------+---+---+---+-----+----+
|Diwakar|   | 25|   |   12|null|
|Prabhat|   | 27|   |   15|null|
|   Zyan|   | 30|   |   17|null|
|   Jack|   | 35|   |   21|null|
+-------+---+---+---+-----+----+

Spark по умолчанию дал имя пустому столбцу в виде 1, 3, _c5 можем ли мы остановить искру, давая имена столбцам по умолчанию.

Я хотел получить кадр данных, как показано ниже: 

+-------+---+---+---+-----+----+
|   Name|   |Age|   |Class|    |
+-------+---+---+---+-----+----+
|Diwakar|   | 25|   |   12|null|
|Prabhat|   | 27|   |   15|null|
|   Zyan|   | 30|   |   17|null|
|   Jack|   | 35|   |   21|null|
+-------+---+---+---+-----+----+

, и я хотел удалить пустой столбец в одном go как: 

temp = list(set(names.columns))
temp.remove(" ")
names = names.select(temp)
names.show


+-------+---+-----+
|   Name|Age|Class|
+-------+---+-----+
|Diwakar| 25|   12|
|Prabhat| 27|   15|
|   Zyan| 30|   17|
|   Jack| 35|   21|
+-------+---+-----+
...