Я нахожусь в процессе создания приложения pyspark, которое часто терпит неудачу и имеет много заданий с большим количеством шагов, поэтому поиск с помощью cluster id и step id невозможен. текущий формат, в котором спарк на emr save ниже
S3/buckt-name/logs/sparksteps/j-{clusterid}/steps/s-{stepid}/stderr.gz
Я хочу что-то отслеживаемое вместо {clusterid} и {stepid} такое, что clustername+datetime и step-name
Я видел log4j.properties, и у него есть что-то с именем datepattern, но он ничего не сохраняет с datetime