Я выполняю задание потоковой передачи в режиме кластера пряжи.Это приведет к получению записей из очереди kafka, а затем создаст набор данных и выполнит некоторые операции над набором данных.Работа выполняется ровно в течение часа, после чего происходит ненормальное время обработки.Я видел, что потребляемая память постепенно увеличивалась со временем.Я использовал spark.cleaner.ttl для очистки памяти.Но все еще есть эта проблема.
