DataFrame Spark не найден в классе Java - PullRequest
Новая
       5

DataFrame Spark не найден в классе Java

0 голосов
/ 14 мая 2018

Я кодирую класс Java, используя Spark.У меня есть эта ошибка: «DataFrame не может быть разрешен в тип» и ошибка при импорте: «Импорт org.apache.spark.sql.DataFrame» не может быть решена.Это класс импорта: 

import org.apache.spark.api.java.*;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.DataFrameReader;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;

import org.apache.spark.sql.DataFrame;

Это файл pom.xml: 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>SparkBD</groupId>
    <artifactId>SparkProject</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <dependencies>
        <dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.3.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.3.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.3.0</version>
        </dependency>
    </dependencies>
</project>

1 Ответ

0 голосов
/ 14 мая 2018

DataFrame был удален в Java API (в Scala API это просто псевдоним) в Spark 2.0. Вы должны заменить его на Dataset<Row>.

  • Хранить только import org.apache.spark.sql.Dataset
  • Где бы вы ни использовали DataFrame используйте Dataset<Row>
...