Я экспериментировал с разными показателями отправки заданий на сервер livy.Когда задания были опубликованы с высокой скоростью, которую я видел, задания были приняты сервером livy и им был присвоен идентификатор сеанса, но позже задание было помечено как мертвое с приведенной ниже ошибкой:
{"id":8666, "state": "dead", "appId": null, "appInfo": {"driverLogUrl": null, "sparkUiUrl": null}, "log": ["Произошла ошибка при инициализации ВМ", "java.lang.OutOfMemoryError: невозможно создать новый собственный поток "," java.lang.Exception: искра-отправка завершена с кодом 1}. \ nОшибка произошла во время инициализации VM \ njava.lang.OutOfMemoryError: невозможно создать новый собственный поток ", "com.cloudera.livy.utils.SparkYarnApp $$ anonfun $ 1 $$ anonfun $ apply $ mcV $ sp $ 1.apply (SparkYarnApp.scala: 238) com.cloudera.livy.utils.SparkYarnApp $$ anonfun $ 1 $$ anonfun$ apply $ mcV $ sp $ 1.apply (SparkYarnApp.scala: 235) scala.Option.foreach (Option.scala: 236) com.cloudera.livy.utils.SparkYarnApp $$ anonfun $ 1.apply $ mcV $ sp (SparkYarnApp.scala: 235) com.cloudera.livy.Utils $$ anon $ 1.run (Utils.scala: 95) "]}
В зависимости от памяти главного узла, может бытьвот способ рассчитать безопасную ставку, с которой рабочие места могут быть отправлены в Ливи, не отмечая их мертвыми?