Apache Flink с помощью AWS Kinesis Analytics

Question

Фактическая ситуация

Я хочу использовать Apache Flink с Kinesis Analytics.Как будто у меня нет опыта работы с Java и Maven, и я собираюсь обобщить шаги, которые я выполнил, и результаты.

1. Используйте IntelliJ IDEA в качестве IDE
2. Проверьте это пример без проблем
3. Измените на AWS, следуя их инструкции .Проблемы начинаются с шага: Создание и компиляция кода Java Apache Flink Streaming

---

Проблемы

Если выЕсли вы хотите использовать соединитель Kinesis, вы не можете сделать это, как другие соединители, из-за лицензии ASL, и они не развертывают артефакт в центральном репозитории Maven в выпусках Flink, поэтому вам нужно будет создать соединитель Kinesis самостоятельно, загрузив исходный код.код для коннектора отсюда Apache Flink и установите его в свой локальный репозиторий Maven.

После его загрузки вы собрали модуль, выполнив следующие шаги :

mvn clean install -Pinclude-kinesis -DskipTests

Итак, я перехожу в разархивированную папку и запускаю команду mvn с этой ошибкой:

[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 50.670 s
[INFO] Finished at: 2018-12-27T14:35:13+01:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.rat:apache-rat-plugin:0.12:check (default) on project flink-parent: Too many files with unapproved license: 2 See RAT report in: C:\Users\...\flink-master\target\rat.txt -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoFailureException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :flink-parent

Пытаясь найти решение, я попытался сказать то, что сказал этот пользователь здесь

mvn clean install -Pinclude-kinesis -DskipTests  -Drat.ignoreErrors=true package

Но опять же у меня возникла ошибка:

[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:15 min
[INFO] Finished at: 2018-12-27T14:40:47+01:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project flink-shaded-hadoop2: Could not resolve dependencies for project org.apache.flink:flink-shaded-hadoop2:jar:1.8-SNAPSHOT: Could not find artifact jdk.tools:jdk.tools:jar:1.6 at specified path C:\Program Files\Java\jdk-11/../lib/tools.jar -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :flink-shaded-hadoop2

---

Вопросы

1. Как мне построить соединительный модуль?
2. Как мне установить его в свой локальный репозиторий Maven?

Answer 1

Я думаю, что проблема в том, что вы пытаетесь создать сборку "снимка" соединителя Flink, а не сборку релиза.

Поскольку вы не знакомы с Java и Maven, вот чтоэто означает: Maven различает сборки «моментального снимка», которые в настоящее время находятся в активной разработке, и сборки «выпуска».Обычно проект только передает свои релизные сборки в Maven Central.Однако для длительной разработки ветка "master" часто является снимком.

POM в ваших связанных инструкциях ссылается на версию 1.6.2, так что это то, что вы должны создавать.Проверьте тег release-1.6.2, а также убедитесь, что вы читаете документацию Flink для этой версии (ссылка выше для последней версии разработки).