Я получаю эту ошибку при выполнении большого количества запросов Spark SQL.В запросах много объединений, и в основном это причина того, что я получаю ошибку ниже:
WARN internal.BaseSessionStateBuilder$$anon$2: Max iterations (100) reached for batch Operator Optimizations
spark.sql.optimizer.maxIterations 300
Я попытался установить параметр MaxIterationsувеличив его до 300, но все равно появляется та же ошибка.
любые предложения будут действительно полезны.