Я пытаюсь прочитать файл паркета из удаленной файловой системы HDFS, используя Java. Для этого я использовал библиотеку parquet-hadoop.
Вот так выглядит мой код,
public Map run( Map inputs )
{
...
final Configuration conf = new Configuration();
conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
conf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());
conf.set("fs.defaultFS", "hdfs://" + connHostName + ":" + connPort);
conf.set("ipc.client.connect.timeout", "10000");
conf.set("ipc.client.connect.max.retries.on.timeouts", "3");
System.setProperty("hadoop.home.dir", "/");
Path path = new Path(filePath);
ParquetMetadata readFooter = ParquetFileReader.readFooter(conf, path, ParquetMetadataConverter.NO_FILTER);
MessageType schema = readFooter.getFileMetaData().getSchema();
...
}
ниже приведены зависимости maven, которые я использую,
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-hadoop</artifactId>
<version>1.9.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.0</version>
</dependency>
Также я попытался добавить еще 2 зависимости: ядро hadoop и hdfs hadoop
Когда я запускаю код Parquet reader, он работает нормально, проблема, с которой я сталкиваюсь, - это когда я бегу как отражение.
Я создаю из него толстый jar и предоставляю имя класса вместе с jar для другой программы, которая будет работать с использованием отражения.
Код отражения выглядит следующим образом,
String packageName = "com.mycompany.hdfs.parquet.Parquet";
String jarPath = "/Users/.../hdfs-parquet-reader/target/hdfs-parquet-reader-0.0.1-jar-with-dependencies.jar";
ClassLoader child = new URLClassLoader(new URL[] { new URL("file://" + jarPath)}, ClassLoader.getSystemClassLoader());
Class classToLoad = Class.forName(packageName, true, child);
String inputParamsString = "{}";
Object obj = classToLoad.newInstance();
Type type = new TypeToken<Map<String, Object>>() {
}.getType();
Map<String, Object> inputs = gson.fromJson(inputParamsString, type);
Method runMethod = obj.getClass().getDeclaredMethod("run", Map.class);
Object result = runMethod.invoke(obj, inputs);
Когда я запускаю приведенный выше код, я получаю DistributedFileSystem.class, не найденный в строке, ParquetMetadata readFooter = ParquetFileReader.readFooter(conf, path, ParquetMetadataConverter.NO_FILTER);
Я создал толстый jar, Проверенный jar содержит класс org.apache.hdfs.DistributedFileSystem.class, присутствующий в jar.
Также я подтвердил, что java -cp jarname.jar className.class работает как положено.
Ниже мой файл пом,
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns="http://maven.apache.org/POM/4.0.0"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>aaa</artifactId>
<groupId>bbb</groupId>
<version>0.0.1</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<packaging>jar</packaging>
<artifactId>hdfs-parquet-reader</artifactId>
<dependencies>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-hadoop</artifactId>
<version>1.9.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.0</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>8</source>
<target>8</target>
</configuration>
</plugin>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<archive>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<!--<finalName>${project.artifactId}-${project.version}-${maven.build.timestamp}</finalName> -->
</configuration>
<executions>
<execution>
<id>make-assembly</id> <!-- this is used for inheritance merges -->
<phase>package</phase> <!-- bind to the packaging phase -->
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
Я пытался с затененным плагином и построить затененную банку, но проблема остается той же.
Я слышал, что библиотека hadoop-commons использует Thread.currentThread.getClassLoader () для загрузки файлов классов, похоже, проблемы здесь.
Помогите мне исправить это,
Заранее спасибо.