Обновите строки MySQL, используя SPARK

Question

Используя pyspark, я обновляю таблицу mysql, схема имеет ограничение уникального ключа для нескольких 3 полей.Мое искровое задание будет выполняться 3 раза в день, так как одна из частей уникального ключа в столбце - «дата». Я получаю ошибку нарушения ограничения уникального ключа, если выполняю задание более одного раза в день.Есть ли способ от спарка, где мы можем удалить уже существующие строки и вставить новые.Ищите решение в Интернете, но не можете найти решение.Заранее спасибо.

Answer 1

Вы должны обновить таблицу на стороне БД.Мое предложение состоит в том, чтобы создать временную таблицу в Mysql db, и задание spark вставляет данные в временную таблицу в режиме перезаписи.Напишите сценарий обновления Mysql для таблицы с использованием временной таблицы.И добавьте цепочку заданий после задания Spark, чтобы запустить скрипт обновления Mysql

Answer 2

Предполагается, что df.writer используется, в настоящее время нет режима UPSert.