Использование Hadoop для обновления MySQL

Question

Я использую мои редукторы для ввода данных в MySQL.Меня беспокоит то, что в некоторых случаях несколько редукторов запускаются для одного и того же ключа одновременно.В этом случае есть вероятность, что БД может быть обновлена ​​дважды по одним и тем же данным.Есть ли способ защиты от этого?

Имеет ли смысл в этом случае отключать режим автоматической фиксации в соединении SQL?

Answer 1

Вы можете изменить настройку:

mapred.reduce.tasks.speculative.execution

Это отключит спекулятивное выполнение задач сокращения, если это ваш случай.

Другой способ, который я бы предложил, - использовать Sqoop для записи вMySQL: http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_literal_sqoop_export_literal

Answer 2

Нашел решение ... это отключало умозрительное исполнение

Answer 3

Я думаю, что эта ситуация не имеет ничего общего с автокоммитами. Если они не слишком большие и не требуют значительных накладных расходов, игнорируйте их, потому что они не нарушат последовательность. Все ваши редукторы делают для выполнения запросов SQL, как вы можете запретить им выполнять запросы для тех же ключей? Я думаю, что вы должны решить эту проблему в своей функции mapreduce, потому что это не тот случай, когда СУБД может справиться, поскольку все, что она делает, это выполняет данный запрос в базе данных.