Нулевые значения из CSV на Scala и Apache Spark

Question

Я использую Apache Spark 2.3.0.Когда я загружаю файл CSV, а затем помещаю файл df.show, он показывает мне таблицу со всеми нулевыми значениями, и я хотел бы знать, почему, потому что в CSV

val df = sqlContext.read.format("com.databricks.spark.csv").option("header","true").schema(schema).load("data.csv")

val schema = StructType(Array(StructField("Rank",StringType,true),StructField("Grade", StringType, true),StructField("Channelname",StringType,true),StructField("Video Uploads",IntegerType,true), StructField("Suscribers",IntegerType,true),StructField("Videoviews",IntegerType,true)))

Rank,Grade,Channelname,VideoUploads,Subscribers,Videoviews
1st,A++ ,Zee TV,82757,18752951,20869786591
2nd,A++ ,T-Series,12661,61196302,47548839843
3rd,A++ ,Cocomelon - Nursery Rhymes,373,19238251,9793305082
4th,A++ ,SET India,27323,31180559,22675948293
5th,A++ ,WWE,36756,32852346,26273668433
6th,A++ ,Movieclips,30243,17149705,16618094724
7th,A++ ,netd müzik,8500,11373567,23898730764
8th,A++ ,ABS-CBN Entertainment,100147,12149206,17202609850
9th,A++ ,Ryan ToysReview,1140,16082927,24518098041
10th,A++ ,Zee Marathi,74607,2841811,2591830307
11th,A+ ,5-Minute Crafts,2085,33492951,8587520379
12th,A+ ,Canal KondZilla,822,39409726,19291034467
13th,A+ ,Like Nastya Vlog,150,7662886,2540099931
14th,A+ ,Ozuna,50,18824912,8727783225
15th,A+ ,Wave Music,16119,15899764,10989179147
16th,A+ ,Ch3Thailand,49239,11569723,9388600275
17th,A+ ,WORLDSTARHIPHOP,4778,15830098,11102158475
18th,A+ ,Vlad and Nikita,53,-- ,1428274554

все выглядит нормально

Answer 1

Причина значений null заключается в том, что «режим» по умолчанию для API-интерфейса csv: PERMISSIVE:

режим (по умолчанию PERMISSIVE): разрешает режим для работы с поврежденными записями.во время разбора.Он поддерживает следующие режимы без учета регистра.
- PERMISSIVE: устанавливает для других полей значение NULL при обнаружении поврежденной записи и помещает искаженную строку в поле, сконфигурированное columnNameOfCorruptRecord.Чтобы сохранить поврежденные записи, пользователь может установить поле строкового типа columnNameOfCorruptRecord в определенной пользователем схеме.Если схема не имеет поля, она удаляет поврежденные записи во время синтаксического анализа.Когда длина анализируемых CSV-токенов меньше ожидаемой длины схемы, для дополнительных полей устанавливается ноль.
- DROPMALFORMED: игнорирует все поврежденные записи.
- FAILFAST: выдает исключение при обнаружении поврежденных записей

csv API

Answer 2

Итак, если мы загружаем без схемы, мы видим следующее:

scala> val df = spark.read.format("com.databricks.spark.csv").option("header","true").load("data.csv")

df: org.apache.spark.sql.DataFrame = [Rank: string, Grade: string ... 4 more fields]

scala> df.show
+----+-----+--------------------+------------+-----------+-----------+
|Rank|Grade|         Channelname|VideoUploads|Subscribers| Videoviews|
+----+-----+--------------------+------------+-----------+-----------+
| 1st| A++ |              Zee TV|       82757|   18752951|20869786591|
| 2nd| A++ |            T-Series|       12661|   61196302|47548839843|
| 3rd| A++ |Cocomelon - Nurse...|         373|   19238251| 9793305082|
| 4th| A++ |           SET India|       27323|   31180559|22675948293|
| 5th| A++ |                 WWE|       36756|   32852346|26273668433|
| 6th| A++ |          Movieclips|       30243|   17149705|16618094724|
| 7th| A++ |          netd müzik|        8500|   11373567|23898730764|
| 8th| A++ |ABS-CBN Entertain...|      100147|   12149206|17202609850|
| 9th| A++ |     Ryan ToysReview|        1140|   16082927|24518098041|
|10th| A++ |         Zee Marathi|       74607|    2841811| 2591830307|
|11th|  A+ |     5-Minute Crafts|        2085|   33492951| 8587520379|
|12th|  A+ |     Canal KondZilla|         822|   39409726|19291034467|
|13th|  A+ |    Like Nastya Vlog|         150|    7662886| 2540099931|
|14th|  A+ |               Ozuna|          50|   18824912| 8727783225|
|15th|  A+ |          Wave Music|       16119|   15899764|10989179147|
|16th|  A+ |         Ch3Thailand|       49239|   11569723| 9388600275|
|17th|  A+ |     WORLDSTARHIPHOP|        4778|   15830098|11102158475|
|18th|  A+ |     Vlad and Nikita|          53|        -- | 1428274554|
+----+-----+--------------------+------------+-----------+-----------+

Если мы применяем вашу схему, мы видим это:

scala> val schema = StructType(Array(StructField("Rank",StringType,true),StructField("Grade", StringType, true),StructField("Channelname",StringType,true),StructField("Video Uploads",IntegerType,true), StructField("Suscribers",IntegerType,true),StructField("Videoviews",IntegerType,true)))

scala> val df = spark.read.format("com.databricks.spark.csv").option("header","true").schema(schema).load("data.csv")
df: org.apache.spark.sql.DataFrame = [Rank: string, Grade: string ... 4 more fields]

scala> df.show
+----+-----+-----------+-------------+----------+----------+
|Rank|Grade|Channelname|Video Uploads|Suscribers|Videoviews|
+----+-----+-----------+-------------+----------+----------+
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
|null| null|       null|         null|      null|      null|
+----+-----+-----------+-------------+----------+----------+

Теперь, если мы посмотрим на ваши данные, мысм. Подписчики содержат не целочисленные значения ("-"), а Videoviews содержит значения, которые превышают целочисленное максимальное значение (2 147 483 647)

Поэтому, если мы изменим схему, чтобы она соответствовала данным:

scala> val schema = StructType(Array(StructField("Rank",StringType,true),StructField("Grade", StringType, true),StructField("Channelname",StringType,true),StructField("Video Uploads",IntegerType,true), StructField("Suscribers",StringType,true),StructField("Videoviews",LongType,true)))
schema: org.apache.spark.sql.types.StructType = StructType(StructField(Rank,StringType,true), StructField(Grade,StringType,true), StructField(Channelname,StringType,true), StructField(Video Uploads,IntegerType,true), StructField(Suscribers,StringType,true), StructField(Videoviews,LongType,true))

scala> val df = spark.read.format("com.databricks.spark.csv").option("header","true").schema(schema).load("data.csv")
df: org.apache.spark.sql.DataFrame = [Rank: string, Grade: string ... 4 more fields]

scala> df.show
+----+-----+--------------------+-------------+----------+-----------+
|Rank|Grade|         Channelname|Video Uploads|Suscribers| Videoviews|
+----+-----+--------------------+-------------+----------+-----------+
| 1st| A++ |              Zee TV|        82757|  18752951|20869786591|
| 2nd| A++ |            T-Series|        12661|  61196302|47548839843|
| 3rd| A++ |Cocomelon - Nurse...|          373|  19238251| 9793305082|
| 4th| A++ |           SET India|        27323|  31180559|22675948293|
| 5th| A++ |                 WWE|        36756|  32852346|26273668433|
| 6th| A++ |          Movieclips|        30243|  17149705|16618094724|
| 7th| A++ |          netd müzik|         8500|  11373567|23898730764|
| 8th| A++ |ABS-CBN Entertain...|       100147|  12149206|17202609850|
| 9th| A++ |     Ryan ToysReview|         1140|  16082927|24518098041|
|10th| A++ |         Zee Marathi|        74607|   2841811| 2591830307|
|11th|  A+ |     5-Minute Crafts|         2085|  33492951| 8587520379|
|12th|  A+ |     Canal KondZilla|          822|  39409726|19291034467|
|13th|  A+ |    Like Nastya Vlog|          150|   7662886| 2540099931|
|14th|  A+ |               Ozuna|           50|  18824912| 8727783225|
|15th|  A+ |          Wave Music|        16119|  15899764|10989179147|
|16th|  A+ |         Ch3Thailand|        49239|  11569723| 9388600275|
|17th|  A+ |     WORLDSTARHIPHOP|         4778|  15830098|11102158475|
|18th|  A+ |     Vlad and Nikita|           53|       -- | 1428274554|
+----+-----+--------------------+-------------+----------+-----------+