Я пишу большой набор данных в формате Parquet в HDFS с использованием Spark, и в EMR он работает довольно медленно, скажем, на Databricks.Я понимаю, что если бы я мог использовать Hadoop 3.1, он был бы гораздо более производительным, потому что у него был бы высокопроизводительный коммиттер вывода.Так ли это, и если да, то когда появится версия EMR, использующая Hadoop 3.1?Текущая версия, которую я использую - 5.21.