Создать шаблон потока данных из многомодульного проекта в Java - PullRequest
Новая
       4

Создать шаблон потока данных из многомодульного проекта в Java

1 голос
/ 03 февраля 2020

У меня нет большого опыта работы с Java, особенно с проектом с несколькими модулями, поэтому я не могу создать шаблон потока данных из проекта с несколькими модулями.

Чтобы создать шаблон из шаблон потока данных, вы должны использовать что-то вроде этого: 

mvn compile exec:java \
     -Dexec.mainClass=com.example.myclass \
     -Dexec.args="--runner=DataflowRunner \
                  --project=YOUR_PROJECT_ID \
                  --stagingLocation=gs://YOUR_BUCKET_NAME/staging \
                  --templateLocation=gs://YOUR_BUCKET_NAME/templates/YOUR_TEMPLATE_NAME"

Это хорошо работает для меня в простом Java проекте, но в настоящее время мне нужно использовать следующее в проекте со следующей упрощенной структурой : 

C:.
|   pom.xml
|
+---configuration
|   |   dependency-reduced-pom.xml
|   |   pom.xml
|   |
|   +---src
|   |   \---main
|   |       \---java
|   |           \---com
|   |               \---xxx
|   |                   \---gcp
|   |                       \---dataflow
|   |                           \---yyy
|   |                               +---package
|   |                               |   |   java files
|   |
+---pipeline
|   |   dependency-reduced-pom.xml
|   |   pom.xml
|   |
|   +---src
|   |   \---main
|   |       \---java
|   |           \---com
|   |               \---xxx
|   |                   \---gcp
|   |                       \---dataflow
|   |                           \---yyy
|   |                               \---package
|   |                                       MAINJAVACLASS.java
|   |
\---transform
|   |   dependency-reduced-pom.xml
|   |   pom.xml
|   |
|   +---src
|   |   \---main
|   |       +---java
|   |       |   +---com
|   |       |   |   \---xxx
|   |       |   |       \---gcp
|   |       |   |           \---dataflow
|   |       |   |               \---yyy
|   |       |   |                   +---package
|   |       |   |                   |       java files

Я выполнил пакет mvn без ошибок со следующим выводом: 

[INFO] Reactor Build Order:
[INFO]
[INFO] pipeline-framework                                                 [pom]
[INFO] configuration                                                      [jar]
[INFO] transform                                                          [jar]
[INFO] pipeline                                                           [jar]

<...>

[INFO] Reactor Summary for pipeline-framework 0.1:
[INFO]
[INFO] pipeline-framework ................................. SUCCESS [ 19.076 s]
[INFO] configuration ...................................... SUCCESS [ 25.070 s]
[INFO] transform .......................................... SUCCESS [ 21.625 s]
[INFO] pipeline ........................................... SUCCESS [ 19.365 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS

Но когда я пытаюсь выполнить: 

mvn compile exec:java -Dexec.mainClass=com.xxx.gcp.dataflow.yyy.pipeline.MAINJAVACLASS -Dexec.args=...

У меня следующая ошибка:

Если я выполню ее из root directoy: 

[INFO] Reactor Summary for pipeline-framework 0.1:
[INFO]
[INFO] pipeline-framework ................................. FAILURE [  5.287 s]
[INFO] configuration ...................................... SKIPPED
[INFO] transform .......................................... SKIPPED
[INFO] pipeline ........................................... SKIPPED

<...>

Caused by: java.lang.ClassNotFoundException: com.xxx.gcp.dataflow.yyy.pipeline.MAINJAVACLASS

Я также попытался: 

mvn compile exec:java -pl pipeline <...>

Если я выполню его внутри прямого конвейера: 

Could not resolve dependencies for project com.xxx.gcp.dataflow:pipeline:jar:0.1: The following artifacts could not be resolved: com.xxx.gcp.dataflow:transform:jar:0.1, com.xxx.gcp.dataflow:configuration:jar:0.1: Failure to find com.xxx.gcp.dataflow:transform:jar:0.1 in https://repo.maven.apache.org/maven2

Какую команду мне следует выполнить для создания шаблона?

главный пом. xml файл 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.xxx.gcp.dataflow</groupId>
  <artifactId>pipeline-framework</artifactId>
  <version>0.1</version>
  <packaging>pom</packaging>

  <modules>
    <module>configuration</module>
    <module>transform</module>
    <module>pipeline</module>
  </modules>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>

    <beam.version>2.16.0</beam.version>

    <maven-compiler-plugin.version>3.7.0</maven-compiler-plugin.version>
    <maven-exec-plugin.version>1.6.0</maven-exec-plugin.version>
    <maven-jar-plugin.version>3.1.2</maven-jar-plugin.version>
    <slf4j.version>1.7.25</slf4j.version>

    <autovalue.annotations.version>1.6</autovalue.annotations.version>
    <autovalue.version>1.6.2</autovalue.version>
  </properties>

  <repositories>
    <repository>
      <id>apache.snapshots</id>
      <name>Apache Development Snapshot Repository</name>
      <url>https://repository.apache.org/content/repositories/snapshots/</url>
      <releases>
        <enabled>false</enabled>
      </releases>
      <snapshots>
        <enabled>true</enabled>
      </snapshots>
    </repository>
  </repositories>

  <dependencyManagement>
    <dependencies>
      <dependency>
        <groupId>${project.groupId}</groupId>
        <artifactId>configuration</artifactId>
        <version>${project.version}</version>
      </dependency>
      <dependency>
        <groupId>${project.groupId}</groupId>
        <artifactId>transform</artifactId>
        <version>${project.version}</version>
      </dependency>
      <dependency>
        <groupId>${project.groupId}</groupId>
        <artifactId>pipeline</artifactId>
        <version>${project.version}</version>
      </dependency>
    </dependencies>
  </dependencyManagement>

  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>${maven-compiler-plugin.version}</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <version>2.22.1</version>
        <configuration>
          <useSystemClassLoader>false</useSystemClassLoader>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <version>${maven-jar-plugin.version}</version>
        <configuration>
          <archive>
            <manifest>
              <mainClass>com.xxx.gcp.dataflow.yyy.pipeline.TerraformPipeline</mainClass>
            </manifest>
          </archive>
        </configuration>
      </plugin>

      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>3.0.0</version>
        <executions>
          <execution>
            <id>bundle-and-repackage</id>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>

              <artifactSet>
                <includes>
                  <include>*:*</include>
                </includes>
              </artifactSet>

              <transformers>
                <transformer
                        implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
              </transformers>

            </configuration>
          </execution>
        </executions>
      </plugin>

    </plugins>

    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.codehaus.mojo</groupId>
          <artifactId>exec-maven-plugin</artifactId>
          <version>${maven-exec-plugin.version}</version>
          <configuration>
            <cleanupDaemonThreads>false</cleanupDaemonThreads>
          </configuration>
        </plugin>


      </plugins>


    </pluginManagement>
  </build>

  <dependencies>
    <...>
  </dependencies>
</project>

Ответы [ 2 ]

1 голос
/ 07 февраля 2020

Наконец, чтобы решить эту проблему, мне пришлось выполнить: mvn clean install перед тем, как скомпилировать. При этом все зависимости были установлены на моем компьютере, а затем с помощью команды вроде: 

mvn compile exec:java \
     -Dexec.mainClass=com.example.myclass \
     -Dexec.args="--runner=DataflowRunner \
                  --project=YOUR_PROJECT_ID \
                  --stagingLocation=gs://YOUR_BUCKET_NAME/staging \
                  --templateLocation=gs://YOUR_BUCKET_NAME/templates/YOUR_TEMPLATE_NAME"

Шаблон создается и загружается в GCS

Если вы хотите создать шаблон с помощью Cloud Построить, вы можете выполнить это шаги

1 голос
/ 07 февраля 2020

Я полагаю, что это общая проблема для многомодульных проектов maven, и она не указана c для потока данных. Может быть, этот другой поток может помочь: Maven exe c: java цель в многомодульном проекте

В этом случае упоминается проблема, с которой у вас MAINJAVACLASS нет нашел. Другая половина, в которой я менее уверен, но я думаю, что причина, по которой банки там отсутствуют, заключается в том, что фаза жизненного цикла package не была запущена на модуле, .jar который вам нужен. Из того, что я могу сказать, плагин exe c не запускается ни на одной конкретной фазе c жизненного цикла сборки, поэтому, исходя из вашей информации, я предполагаю, что он запускается только после фазы compile, которая не не производит никаких jar-файлов (что происходит в package).

Информация о жизненном цикле сборки: http://maven.apache.org/guides/introduction/introduction-to-the-lifecycle.html Информация о

...