Когда мы получим класс X не может быть приведен к классу X какие-то исключения?Мы пытаемся написать в Amazon S3, используя HDFS Api.Мы используем org.apache.hadoop: hdfs-aws: 3.1.0 и hadoop-client: 3.1.0.
Когда мы развертываем поток данных, Java-процесс агента запускает поток для записи в Amazon S3.Первый раз он работает абсолютно нормально без каких-либо исключений.Когда мы снова развертываем и внедряем поток данных (2-й раз: т.е. без перезапуска агента), код выдает следующее исключение:
java.lang.RuntimeException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:135)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3353)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3403)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3371)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:477)
at com.informatica.binge.targets.hdfs_s3.BingeOutputAmazonS3.createFile(BingeOutputAmazonS3.java:313)
at com.informatica.binge.targets.hdfs_s3.HDFSRolloverBase.open(HDFSRolloverBase.java:118)
at com.informatica.binge.targets.hdfs_s3.BingeHDFSTargetDelgator.open(BingeHDFSTargetDelgator.java:78)
at com.informatica.vds.writer.TargetWrapper.run(TargetWrapper.java:521)
Вызывается: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62) в sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.javanlan.stru.jpg (Constructor.mp.423) at org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:133) ... еще 9 Причина: java.lang.ClassCastException: org.apache.hadoop.fs.s3a.S3AStorageStatistics не можетбыть приведенным к org.apache.hadoop.fs.s3a.S3AStorageStatistics по адресу org.apache.hadoop.fs.s3a.S3AFileSystem.createStorageStatistics (S3AFileSystem.java:358) в org.apache.hadoop.fs.s3ile.SaF. (S3AFileSystem.java:191) ... еще 14
У нас есть подозрение, что S3StoraКласс geStatistics загружается дважды.Мы также проверили classpath, в CLASSPATH для этого класса нет дубликатов jar.Ваши пожелания приветствуются.
С уважением,