мы продолжаем выполнять задания с потоковой передачей, считая, что это месяцы, мы перезапускаем задания только тогда, когда мы хотим применить новые изменения.Поскольку эти задания выполняются месяцами, журналы накапливаются, и это приводит к тому, что узел данных переходит в неработоспособное состояние.Чтобы избежать нездоровой проблемы, мы поддерживаем минимальные уровни журналов, но это затрудняет отладку.
я наткнулся на опцию в spark, чтобы предоставить Rolling.logs, и я определил следующие свойства в файле свойств.... spark.executor.logs.rolling.strategy = времени.properties .... <>
но все же я не вижу, чтобы файлы скользящего журнала создавались.
, пожалуйста, помогите свернуть файлы журналов в соответствии с определенными свойствами.