Не могу обновить MySql Hadoop, только вставить

Question

Я пытаюсь использовать Hadoop для чтения данных, обработки и последующей записи в MySql. Тем не менее, кажется, что я могу только сделать вставку. Если я попытаюсь выполнить обратную запись с тем же первичным ключом (это означает обновление), появится ошибка типа «Дублировать XXX для первичного ключа». Кто-нибудь решил эту проблему? И возможно ли обновить?

Answer 1

Используете ли вы Sqoop или используете операторы SQL в задачах Map / Reduce?Похоже, что несколько редукторов или один редуктор снова и снова записывает данные с одним и тем же первичным ключом.Чтобы избавиться от ошибок, необходимо изменить структуру карты / задачи сокращения или схемы базы данных.

Как это известно в редукторе, если необходимо выполнить обновление или вставку?Проверяется ли строка с тем же первичным ключом в базе данных, а затем выполняется вставка или обновление?

Чтобы решить проблему, необходимо детально изучить дизайн приложения.