Как добавить новые данные в существующую таблицу Hive с помощью фрейма данных Spark и предложения partitionby - PullRequest
Новая
       25

Как добавить новые данные в существующую таблицу Hive с помощью фрейма данных Spark и предложения partitionby

0 голосов
/ 10 мая 2018

У меня есть фрейм данных, который я записываю в таблицу Hive с использованием partitionBy - 

val df = Seq(
("day1", 1),
("day1", 2),
("day1", 3),
("day1", 4)
).toDF("day","id")

df.write.partitionBy("day").format("parquet").saveAsTable("mydb.day_table")

spark.sql("select * from mydb.day_table").show
+---+----+
| id| day|
+---+----+
|  1|day1|
|  2|day1|
|  3|day1|
|  4|day1|
+---+----+

spark.sql("show create table mydb.day_table").show(false)
+---------------------------------------------------------------------------------------------------------------------------------------+
|createtab_stmt                                                                                                                         |
+---------------------------------------------------------------------------------------------------------------------------------------+
|CREATE TABLE `mydb`.`day_table` (`id` INT, `day` STRING)
USING parquet
OPTIONS (
  `serialization.format` '1'
)
PARTITIONED BY (day)
|
+---------------------------------------------------------------------------------------------------------------------------------------+

Если я создаю другой фрейм данных и хочу добавить содержимое этого фрейма данных в ту же таблицу, сохранив раздел без изменений, то как я делаю это? Это правильный путь? 

val df2 = Seq(
("day2",5),
("day2",6)
).toDF("day","id")


df2.write.mode("append").partitionBy("day").format("parquet").saveAsTable("mydb.day_table")

Я хочу получить вывод ниже, но хочу, чтобы таблица была разбита на day даже после того, как я продолжаю добавлять данные в исходную таблицу. 

spark.sql("select * from mydb.day_table").show(false)
+---+----+
|id |day |
+---+----+
|1  |day1|
|2  |day1|
|3  |day1|
|4  |day1|
|5  |day2|
|6  |day2|
+---+----+

Я использую Scala с Spark-Shell. Спасибо.

1 Ответ

0 голосов
/ 10 мая 2018

Вы должны использовать API данных фрейма искры

1) для разделения

2) saveAsTable 

df.\
write.\
format("parquet").\
mode(org.apache.spark.sql.SaveMode.Append).\
partitionBy("first").\
saveAsTable("example")

Я вижу, это то, что вы делали.Но вы не опубликовали ни одной ошибки.

...