Очистка истории искровой потоковой передачи на кластере emr - PullRequest
Новая
       21

Очистка истории искровой потоковой передачи на кластере emr

1 голос
/ 17 июня 2019

Я ссылался ниже на ссылки и сделал те же изменения

  1. https://aws.amazon.com/premiumsupport/knowledge-center/core-node-emr-cluster-disk-space/
  2. Очистка журналов истории Spark

И перезапустил сервер истории и менеджер ресурсов, но он не удаляет журналы контейнеров через определенное время. это вызывает проблему нездорового узла.

У меня есть конфигурация, как показано ниже

  1. / и т.д. / Hadoop / CONF / пряжи site.xml 
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>600</value>
      </property>
  1. / и т.д. / logpusher / hadoop.config 
"/var/log/hadoop-yarn/containers" : {
                "includes" : [ "(.*)" ],
                "s3Path" : "containers/$0",
                "retentionPeriod" : "1h",
                "deleteEmptyDirectories": true,
                "logType" : [ "USER_LOG", "SYSTEM_LOG" ]
}

3. /etc/spark/spark-defaults.conf

spark.history.fs.cleaner.enabled true
spark.history.fs.cleaner.maxAge  1h
spark.history.fs.cleaner.interval 1h

Не могли бы вы подсказать, чего мне не хватает?

...