"Metastore_db" в Derby используется искровым процессом, несмотря на остановку Spark Context - PullRequest
Новая
       18

"Metastore_db" в Derby используется искровым процессом, несмотря на остановку Spark Context

0 голосов
/ 14 марта 2019

Я пытаюсь удалить «metastore_db» после остановки контекста Spark, но он выдает следующую ошибку:

"PermissionError: [WinError 32] The process cannot access the file because it is being used by another process: 'metastore_db\\db.lck'"

Код выглядит следующим образом: 

import shutil
try:
    import pyspark
except:
    import findspark
    findspark.init()  

spark = pyspark.sql.SparkSession.builder.appName("Test_metastore_delete").enableHiveSupport().getOrCreate()
spark.stop()
shutil.rmtree("metastore_db")

В документе PySpark сказано:

https://spark.apache.org/docs/2.3.1/api/python/pyspark.html#pyspark.SparkContext.stop

  • stop () Завершить SparkContext.

Любая помощь или предложение,почему и как решить проблему.

...