Невозможно получить доступ к API файловой системы Alluxio в IDE - PullRequest
Новая
       46

Невозможно получить доступ к API файловой системы Alluxio в IDE

0 голосов
/ 07 марта 2019

Я пытаюсь получить доступ к файлу в alluxio в коде scala в IDE, и я получаю эту ошибку Exception in thread "main" java.io.IOException: No FileSystem for scheme: alluxio Мой код выглядит следующим образом: 

package com.example.sparkalliuxiodemo

import org.apache.spark.sql.SparkSession

object TestMain {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().config("spark.master", "local[2]")
      .getOrCreate()

    var df = spark.read.parquet("alluxio://localhost:19998/sample-df")
    df.printSchema()

  }
}

pom.xml: 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.example</groupId>
    <artifactId>spark-alluxio-demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>2.4.0</version>
        </dependency>

        <dependency>
            <groupId>org.alluxio</groupId>
            <artifactId>alluxio-core-client</artifactId>
            <version>1.8.1</version>
            <type>pom</type>
        </dependency>

        <dependency>
            <groupId>org.alluxio</groupId>
            <artifactId>alluxio-core-server</artifactId>
            <version>1.8.1</version>
            <type>pom</type>
        </dependency>


        <dependency>
            <groupId>org.alluxio</groupId>
            <artifactId>alluxio-core-common</artifactId>
            <version>1.8.1</version>
        </dependency>


        <dependency>
            <groupId>org.alluxio</groupId>
            <artifactId>alluxio-core-client-fs</artifactId>
            <version>1.8.1</version>
        </dependency>


    </dependencies>
</project>

Я могу получить доступ к файловой системе alluxio в каталоге Spark Installed через Shell.Если я пытаюсь получить доступ к этому через IDE, включая вышеупомянутые зависимости alluxio в POM.xml, я получаю вышеуказанную ошибку.

Если я помещу этот jar `alluxio-1.8.1-client.jar 'в путь сборки, я получу доступ к файлу в alluxio без каких-либо ошибок в самой IDE.

Мне нужно получить доступ к файлу в aluxio напрямую в eclipse или scala-ide.

Может ли кто-нибудь предложить мне правильные зависимости alluxio для включения в зависимости maven?

1 Ответ

1 голос
/ 08 марта 2019

Попробуйте добавить 

    <dependency>
        <groupId>org.alluxio</groupId>
        <artifactId>alluxio-core-client-hdfs</artifactId>
        <version>1.8.1</version>
    </dependency>
...