У меня есть недавно установленный hadoop2.8 для spark2.2.1.Он выдает spark java.lang.NumberFormatException: For input string: "100M", когда я вхожу в pyspark.
Я слежу за этим вопросом для моего решения.
Дополнительная информация. Я пытаюсь создать сеансы спарк с ролями AWS ARN, чтобы этот спарк мог получить доступ к различным источникам данных с Предполагать роль в AWS.
Редактировать: Установил hadoop2.8 для spark2.2.1;Раньше по умолчанию имел hadoop2.7, но он не поддерживает роли aws для сеансов spark.