Как я могу создать контрольную точку вручную при использовании дельты озера? - PullRequest
0 голосов
/ 09 ноября 2019

Как создать контрольную точку вручную, когда я записываю данные пакета по формату («дельта») на спарк? Как мы все знаем, Delta Lake создаст контрольную точку автоматически на 10 версий. Но как запустить создание контрольной точки, как мы хотим?

1 Ответ

0 голосов
/ 11 ноября 2019

import org.apache.spark.sql.delta.DeltaLog

DeltaLog.forTable (spark, dataPath) .checkpoint ()

...