Что означает «дополнительная нагрузка»?

Question

Я регулярно вижу выражение « инкрементная загрузка » при чтении статей

Что на самом деле (технически) означает? Что это значит?

Разъяснения с использованием прецедентов приветствуются.

Answer 1

Обычно это означает только загрузку на склад записей, которые изменились (вставки, обновления и т. Д.) С момента последней загрузки; вместо полной загрузки всех данных (всех записей, включая те, которые не изменились с момента последней загрузки) в хранилище.

Преимущество заключается в том, что он уменьшает объем данных, передаваемых из системы в систему, поскольку полная загрузка может занять часы / дни в зависимости от объема данных.

Основным недостатком является ремонтопригодность. При полной загрузке, если есть ошибка, вы можете перезапустить всю загрузку без необходимости делать что-либо еще в процессе очистки / подготовки. При добавочной загрузке файлы обычно необходимо загружать по порядку. Поэтому, если у вас есть проблема с одним пакетом, другие стоят в очереди за ним, пока вы не исправите его. В качестве альтернативы вы можете обнаружить ошибку в пакете, полученную несколько дней назад, и вам необходимо повторно загрузить этот пакет после исправления, а затем каждую последующую серию, чтобы обеспечить согласованность данных в хранилище.

Answer 2

Добавочная загрузка используется при перемещении данных из одного хранилища (базы данных) в другое.

Неинкрементная загрузка будет происходить, когда получателю будут переданы все данные из источника.

Инкрементная передача будет проходить только через новые и измененные данные.

Конкретный пример:

У компании может быть две платформы, одна который обрабатывает заказы, и отдельный система учета. Счета отдел вводит новые данные клиента в систему бухгалтерского учета, но должен убедитесь, что эти клиенты появляются в система обработки заказов.

Для этого запускается ночная пакетная работа. который отправляет данные из учета система к системе заказов.

Если бы они удаляли всех клиентов детали в системе заказов и пополнение со всеми клиентами в система учета, то они будут выполнять неинкрементную нагрузку.

Если они только отправлены через новый клиенты и клиенты, которые имели были изменены, они будут выполнять дополнительная нагрузка.