Z-порядок в Databricks

Question

Является ли повторная кластеризация оптимизации z-порядка ручным процессом в Databricks или в фоновом режиме выполняется процесс, который асинхронно переупорядочивает индекс кластера после вставки или обновления данных?

Answer 1

Сегодня это не асинхронный или непрерывный процесс, но это идемпотентная операция. Начиная с документа :

До Databricks Runtime 5.0, Z-упорядочение не было идемпотентной операцией, просто переписывало все данные, соответствующие данному фильтру, каждый раз при запуске команды. Начиная с Databricks Runtime 5.0, Z-упорядочение также идемпотентно, как и упаковка в бин.

Вам нужно будет Z-упорядочить новые строки в вашей таблице, но вам не придется переписыватьвся таблица для этого.