В spark 2.x, кроме использования DF.write.mode (). Jdbc () ....., как записать данные Dataframe в mysql - PullRequest
2 голосов
/ 27 сентября 2019

Я хочу продолжать обновлять таблицу mysql с некоторыми агрегированными результатами, которые я получаю из таблицы кустов через задание spark, выполняемое каждые несколько часов.У меня есть агрегированный результат в виде фрейма данных.

Я пробовал DF.write.mode (SaveMode.Append) .jdbc () ..., но я думаю, что значение Append не такое, какUpsert.Сбой, если такая же уникальная комбинация клавиш в строке, которую он пытается вставить, уже существует в таблице.

Я полагаю, что другим способом было бы перераспределение (по столбцу) кадра данных и для каждой записи разделамои собственные оскорбления?Все ли так вставляют какие-либо данные, которые постоянно обновляются из объединенного фрейма данных в mysql?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...