Java KCL SPark Streaming не может импортировать org.apache.spark.streaming.kinesis - PullRequest
Новая
       99

Java KCL SPark Streaming не может импортировать org.apache.spark.streaming.kinesis

0 голосов
/ 27 марта 2019

Привет, ребята. Я пытаюсь выполнить KCL в задании Streaming Spark. Я создал первый черновой проект, и вместе с моими зависимостями я мог бы импортировать несколько пакетов. Однако есть пакет org.apache.spark.streaming.kinesis, который, даже если он включен в мой файл POM.xml, не импортирует его.

Мой pom.xml: 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.streaming.sparkdemo</groupId>
  <artifactId>spark-demo</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>
  <name>spark-demo</name>
  <url>http://maven.apache.org</url>

  <dependencies>

  <!-- Import Spark -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.4.0</version>
    </dependency>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk</artifactId>
    <version>1.11.78</version>  
  </dependency>

  <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.3.0</version>
    <scope>provided</scope>
</dependency>


  <dependency>
      <groupId>com.amazonaws</groupId>
      <artifactId>amazon-kinesis-client</artifactId>
      <version>1.9.3</version>
</dependency>


  </dependencies>



</project>

Однако после сборки я получаю это ужасное сообщение из моего импорта:

enter image description here

1 Ответ

0 голосов
/ 28 марта 2019

Я решил эту проблему, включив пакет интеграции ASL Kinesis в свой POM.XML

https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kinesis-asl_2.11/2.3.0

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kinesis-asl -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kinesis-asl_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
...