как увидеть тип всех столбцов Dataframe - PullRequest
0 голосов
/ 03 февраля 2019

Мои данные находятся в файле csv.

DEST_COUNTRY_NAME   ORIGIN_COUNTRY_NAME count
United States   Romania 15
United States   Croatia 1
United States   Ireland 344
Egypt   United States   15

Я читаю файл

scala> val data = spark.read.csv("./data/flight-data/csv/2015-summary.csv")
[Stage 0:>                                                          (0 + 1) / 1                                                                               data: org.apache.spark.sql.DataFrame = [_c0: string, _c1: string ... 1 more field]

, приведенный выше тип показывает только _c0 и _c1.Как можно увидеть все столбцы и их типы вместо сообщения 1 more field?

1 Ответ

0 голосов
/ 03 февраля 2019

я думаю, что первая строка была интерпретирована как данные ..

val data = spark.read.format("csv").option("header","true").load(<your path>)
data.printSchema 
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...