Узел вторичного имени в Hadoop - PullRequest
0 голосов
/ 14 января 2020

Предположим, для контрольной точки время по умолчанию составляет 1 час. Если имя узла не работает через 55 минут после последней контрольной точки. Мы теряем данные за последние 55 минут (редактирование данных файла журнала не добавляется в fsImage)?

1 Ответ

0 голосов
/ 14 января 2020

Зависит от параметров конфигурации вашего узла Checkpoint для dfs.namenode.checkpoint.txns

  • dfs.namenode.checkpoint.period : Количество секунд между двумя контрольными точками periodi c.
  • dfs.namenode.checkpoint.txns : это создаст контрольную точку пространства имен для каждой транзакции dfs.namenode.checkpoint.txns независимо от того, того, истек ли срок действия dfs.namenode.checkpoint.period.

предполагает, что у вас есть dfs.namenode.checkpoint.period каждые 1 час и dfs.namenode .checkpoint.txns каждые 500 транзакций, следующая контрольная точка может быть создана за один час или каждые 500 транзакций

...