Talend (7.0.1) - невозможно изменить mapred.job.name во время выполнения

Question

У меня возникли проблемы с выполнением простого задания tHiveCreateTable в Talend OS для больших данных ( Печать задания, в котором я получаю эту ошибку ). Соединение Hive в порядке, и задание работало до тех пор, пока Ranger не был активирован в кластере.

После рейнджера я начал получать следующий журнал:

   [statistics] connecting to socket on port 3345
   [statistics] connected
   Error while processing statement: Cannot modify mapred.job.name at runtime. It is not in list of params that are allowed to be modified at runtime
   [statistics] disconnected

Эта ошибка возникает при использовании Tez или MapReduce для задания, вызывая исключение в следующей строке автоматически сгенерированного кода:

    // For MapReduce Mode
    stmt_tHiveCreateTable_1.execute("set mapred.job.name=" + queryIdentifier);

Знаете ли вы какое-либо решение или обходной путь для этого?

Заранее спасибо

Answer 1

Можно отключить изменение mapreduce.job.name и hive.query.name во время выполнения заданиями Talend7.

Редактировать файл

{talend_install_dir}/plugins/org.talend.designer.components.localprovider_7.1.1.20181026_1147/components/templates/Hive/SetQueryName.javajet

и закомментируйте строки 6 и 11 следующим образом:

// stmt_<%=cid %>.execute("set mapred.job.name=" + queryIdentifier_<%=cid %>);
// stmt_<%=cid %>.execute("set hive.query.name=" + queryIdentifier_<%=cid %>);

Это решило эту проблему для меня.