Что происходит sqoop не удается в промежутке между данными - PullRequest
0 голосов
/ 01 мая 2018

Что происходит при сбое задания импорта Sqoop при импорте данных в RDBMS-HDFS и наоборот?

1 Ответ

0 голосов
/ 02 мая 2018

Sqoop может экспортировать данные из HDFS в RDBMS, используя задачи параллельной передачи данных. Каждое задание будет открывать соединение с базой данных, вставлять в базу данных через транзакции и периодически фиксировать. Это означает, что до завершения всего задания экспорта в базе данных будут доступны частичные данные.

Если задача экспорта карты завершится неудачно даже после нескольких повторных попыток, все задание не будет выполнено. Причины сбоев задач могут включать проблемы с сетевым подключением, ограничения целостности базы данных, некорректные записи на HDFS, проблемы с емкостью кластера и т. Д. В этом случае уже зафиксированные данные будут по-прежнему доступны в базе данных.

...