Версия по умолчанию для aws-sdk и связанных с ней jar-файлов 1.11.297 в EMR. даже если я укажу ** --packages com.amazonaws: aws-java-sdk-s3: 1.11.434 **. все файлы, связанные с aws-sdk, ссылаются на 1.11.297
Я попытался вручную указать jar для времени выполнения, загрузив jar и передав его, используя --jars в args
spark-shell --packages com.amazonaws:aws-java-sdk-s3:1.11.434
import com.amazonaws.services.s3.model.InputSerialization
new InputSerialization().getClass.getResource("InputSerialization.class")
res0: java.net.URL = jar:file:/usr/share/aws/aws-java-sdk/aws-java-sdk-s3-1.11.297.jar!/com/amazonaws/services/s3/model/InputSerialization.class`