Я использую Spark коды в экземпляре EC2.Я столкнулся с проблемой «Слишком много открытых файлов» (журналы ниже), и я искал в Интернете, и мне, кажется, нужно установить ulimit на большее число.Поскольку я запускаю задание Spark в AWS и не знаю, где находится файл конфигурации, как я могу передать это значение в свой код Spark?
Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 255 in stage 19.1 failed 4 times, most recent failure: Lost task 255.3 in stage 19.1 (TID 749786, 172.31.20.34, executor 207): java.io.FileNotFoundException: /media/ebs0/yarn/local/usercache/data-platform/appcache/application_1559339304634_2088/blockmgr-90a63e4a-dace-4246-a158-270b0b34c1f9/20/broadcast_13 (Too many open files)