Можете ли вы потоковое и пакетное из одной и той же таблицы дельта?

Question

Я пытался выполнять потоковую передачу и пакетирование из одной и той же дельта-таблицы, но столкнулся с проблемой небольших файлов на стороне пакета. Но если вы оптимизируете дельта-таблицу, размер потоковой передачи потеряет отслеживание файлов, которые она читает, так как результаты оптимизации сжимаются.

Answer 1

Когда команда OPTIMIZE удаляет небольшие файлы и добавляет обратно в сжатые, эти операции помечаются флагом dataChange, установленным в false.Этот флаг сообщает потокам, которые следуют за журналом транзакций, что эту транзакцию можно безопасно игнорировать, чтобы избежать обработки дублирующих данных.

Я также отмечу, что DBR 5.3 содержит частные функции предварительного просмотра, которые называютсяАвтоматическая оптимизация, которая может выполнить это сжатие до того, как небольшие файлы попадут в таблицу.Эта функция будет добавлена ​​в следующем выпуске DBR.