У меня проблема с вставкой данных.Фактически, я читаю некоторые файлы csv в dataFrame и сохраняю dataFrame в HDFS как:
val data = spark.read.option("header", "true").option("delimiter", ",").csv("/path_to_csv//*.csv")
data.repartition($"year", $"month", $"day").write.partitionBy("year", "month", "day").mode("overwrite").option("header", "true").option("delimiter", ",").parquet ("/path/to/parquet")
Затем я создаю внешний элемент на моем сохраненном паркете как:
create external table tab (col1 string, col2 string, col3 int)
partitioned by (year int,month int,day int) stored as parquet
LOCATION 'hdfs://path/to/parquet'
До здесьвсе в порядке!Но когда я делаю запрос на моем столе:
select * from tab
у меня нет результата.Кто-нибудь сталкивается с этой проблемой?
Спасибо.