Как построить и использовать Flink-Connector-Kinesis? - PullRequest
Новая
       38

Как построить и использовать Flink-Connector-Kinesis?

0 голосов
/ 19 декабря 2018

Я пытаюсь использовать Apache Flink с кинесисом AWS.В документе говорится, что я должен создать соединитель самостоятельно.

Поэтому я собираю соединитель и добавляю jar-файл для своего проекта, а также ставлю зависимость в свой файл pom.xml. 

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kinesis_2.11</artifactId>
    <version>1.6.1</version> 
</dependency>

Однако, когда я пытался собратьиспользуя mvn clean package Я получил сообщение об ошибке, подобное этому 

[INFO] -----------------------< kkaldk:flink-kinesis >-----------------------
[INFO] Building Flink Quickstart Job 0.1
[INFO] --------------------------------[ jar ]---------------------------------
[WARNING] The POM for org.apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT is missing, no dependency information available
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.458 s
[INFO] Finished at: 2018-12-19T17:45:43+09:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project flink-kinesis: Could not resolve dependencies for project kkaldk:flink-kinesis:jar:0.1: Failure to find org.apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT in https://repository.apache.org/content/repositories/snapshots/ was cached in the local repository, resolution will not be reattempted until the update interval of apache.snapshots has elapsed or updates are forced -> 
[Help 1]
[ERROR]

Не могли бы вы помочь мне исправить это?

--------- добавлено ----------

Это то, что я сделал (это неправильная процедура)

  1. начал проект, следующий за документом
  2. сборкойсоединитель из мастер-источник flink (снимок 1.8)
  3. добавить зависимость с версией 1.6.1.

1 Ответ

0 голосов
/ 01 января 2019

Это то, что я сделал для решения.

  1. Я скачал 1.6.1 релиз с здесь .

  2. распаковать файл (архив будет распакован в .../flink-release-1.6.1/

  3. построено по mvn clean install -Pinclude-kinesis -DskipTests

Тогда у меня есть flink-connector-kinesis_2.11 версия 1.6.1 в моем местном mavenрепозиторий

(для меня путь был таким): ~/.m2/repository/org/apache/flink/flink-connector-kinesis_2.11

После этого я мог бы использовать этот соединитель в любом проекте, добавив зависимость с этим кодом. (У меня нетчтобы добавить файл фляги больше.) 

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kinesis_2.11</artifactId>
    <version>1.6.1</version> 
</dependency>
...