При попытке запустить m / r с использованием файла паркета в каскадной библиотеке я получаю следующую ошибку: введите описание изображения здесь
Caused by: java.lang.NoSuchMethodError: shaded.parquet.org.apache.thrift.EncodingUtils.setBit(BIZ)B
at org.apache.parquet.format.FileMetaData.setVersionIsSet(FileMetaData.java:349)
at org.apache.parquet.format.FileMetaData.setVersion(FileMetaData.java:335)
at org.apache.parquet.format.Util$DefaultFileMetaDataConsumer.setVersion(Util.java:122)
at org.apache.parquet.format.Util$5.consume(Util.java:161)
at org.apache.parquet.format.event.TypedConsumer$I32Consumer.read(TypedConsumer.java:78)
at org.apache.parquet.format.event.TypedConsumer.read(TypedConsumer.java:200)
at org.apache.parquet.format.event.Consumers$DelegatingFieldConsumer.consumeField(Consumers.java:97)
at org.apache.parquet.format.event.EventBasedThriftReader.readStructContent(EventBasedThriftReader.java:73)
at org.apache.parquet.format.event.EventBasedThriftReader.readStruct(EventBasedThriftReader.java:57)
at org.apache.parquet.format.Util.readFileMetaData(Util.java:192)
at org.apache.parquet.format.Util.readFileMetaData(Util.java:85)
Я добавил libthrift-0.12.0.jar to mapreduce.job.cache.files и mapreduce.job.classpath.files.
testCompile group: 'junit', name: 'junit', version: '4.11'
compile group: 'cascading', name: 'cascading-core', version: '3.0.4', transitive: true
compile group: 'cascading', name: 'cascading-local', version: '3.0.4', transitive: true
compile group: 'cascading', name: 'cascading-hadoop2-mr1', version: '3.0.4', transitive: true
compile group: 'org.apache.commons', name: 'commons-math3', version: '3.4.1', transitive: true
compile group: 'org.apache.commons', name: 'commons-lang3', version: '3.3.2', transitive: true
compile group: 'commons-io', name: 'commons-io', version: '2.4', transitive: true
compile group: 'commons-cli', name: 'commons-cli', version: '1.2', transitive: true
compile group: 'org.slf4j', name: 'slf4j-api', version: '1.7.5'
compile group: 'org.slf4j', name: 'slf4j-log4j12', version: '1.7.5'
compile group: 'org.apache.hadoop', name: 'hadoop-core', version: '2.0.0-mr1-cdh4.4.0', transitive: false
compile group: 'org.apache.hadoop', name: 'hadoop-common', version: '2.0.0-cdh4.4.0', transitive: false
compile group: 'org.apache.parquet', name: 'parquet-cascading3', version: '1.9.0-cdh6.3.1',transitive: true
группа компиляции: 'org.apache.parquet', имя: 'parquet-thrift', версия: '1.9.0-cdh6.3.1 'группа компиляции:' org.apache.thrift ', имя:' libthrift ', версия:' 0.9.3 ', транзитивная: true, группа компиляции:' com.google.code.gson ', имя: 'gson', версия: '2.2.4', транзитивная: ложная группа компиляции: 'org.apache.thrift', имя: 'libthrift', версия: '0.12.0', транзитивная: ложная группа компиляции: 'shaded. parquet.org.apache.thrift ', имя:' libthrift ', версия:' 0.12.0 ', переходный: false
Как я могу решить эту проблему?