Есть ли метод в Pyspark, эквивалентный SQL MSCK REPAIR TABLE

Question

В SQL есть:

REFRESH TABLE table_name

и в pyspark эквивалент:

spark.refreshTable(table_name)

Итак, каков будет эквивалент Pyspark:

MSCK REPAIR TABLE table_name

Answer 1

refreshTable интегрирован с сеансом зажигания каталог .

как предложил Стивен, вы можете перейти с spark.sql('MSCK REPAIR TABLE table_name')

В приведенной выше ссылке есть нечто, называемое recoverPartitions (работает только с секционированной таблицей, но не с представлением). Я считаю, что это псевдоним версии msck repair table. вы можете попробовать это ..

смотри это ddl.scala похоже на его документацию.
пример использования:

spark.catalog.recoverPartitions(tableName)