как закрыть StatisticsDataReferenceCleaner hadoop-common FileSystem - PullRequest
Новая
       12

как закрыть StatisticsDataReferenceCleaner hadoop-common FileSystem

0 голосов
/ 20 марта 2019

в проекте использовать спрэд hdfs файл read read, кешировать файл в памяти, затем закрыть сеанс spark. 

    val sc = SparkSession.builder().master("local[1]").appName("xxx")
            .config("fs.file.impl", "org.apache.hadoop.fs.LocalFileSystem")
             .config("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem")
              .config("spark.ui.enabled","false")
              .getOrCreate()
     val a = NaiveBayesModel.load(sc.sparkContext,bayesPath)
     sc.close()

затем в основной функции Thread.sleep(1000000000L) используйте jstack pid для проверки состояния потока. 

org.apache.hadoop.fs.FileSystem$Statistics$StatisticsDataReferenceCleaner

и 

org.apache.hadoop.hdfs.PeerCache@98952b8

- это статус TIMED_WAITING. как остановить поток демона. В FileSystem StatisticsDataReferenceCleaner являются частными.

...