Задание Google Dataflow работает нормально при запуске на eclipse, но выдает ошибку, когда я компилирую его с помощью mvn и запускаю файл с помощью команды java -cp - PullRequest
Новая
       6

Задание Google Dataflow работает нормально при запуске на eclipse, но выдает ошибку, когда я компилирую его с помощью mvn и запускаю файл с помощью команды java -cp

0 голосов
/ 25 апреля 2018

Я мигрирую из Dataflow SDK 1.x в 2.x, который использует Apache Beam. Код работает правильно, когда я запускаю его в Eclipse, используя Запускать как Java-приложение . Но когда я компилирую его, используя mvn clean compile сборка: одиночная и затем запустите файл класса с помощью команды java -cp Я получаю эти журналы, за которыми следует исключение 

INFO: PipelineOptions.filesToStage was not specified. Defaulting to files 
from the classpath: will stage 1 files. Enable logging at DEBUG level to see 
which files will be staged.
Apr 25, 2018 11:17:01 AM com.example.LogParser parse
INFO: Currently processing file: File1.gz
Exception in thread "main" java.lang.NoSuchMethodError: 
com.google.common.base.Preconditions.checkArgument(ZLjava/lang/
String;Ljava/lang/Object;Ljava/lang/Object;)V at 
org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO$Write.expand(BigQueryIO.java:1512)
    at org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO$Write.expand(BigQueryIO.java:1041)
at org.apache.beam.sdk.Pipeline.applyInternal(Pipeline.java:537)
    at org.apache.beam.sdk.Pipeline.applyTransform(Pipeline.java:472)
    at org.apache.beam.sdk.values.PCollection.apply(PCollection.java:286)
    at com.example.LogParser.parse(LogParser.java:541)
    at 
 com.example.LogParser.main(LogParser.java:167)

Я попытался обновить guavaверсия, но это не помогло.

Я также заметил, что когда я запускаю свой файл класса, используя eclipse, я получаю этот журнал, который отличается, когда я запускаю его, используя файл jar 

INFO: PipelineOptions.filesToStage was not specified. Defaulting to files 
from the classpath: will stage 147 files. Enable logging at DEBUG level to 
see which files will be staged.

1 Ответ

0 голосов
/ 26 апреля 2018

Мне удалось устранить ошибку, добавив эти maven-зависимости вместо maven-assembly-plugin, а затем используя mvn package вместо mvn assembly 

      <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-compiler-plugin</artifactId>
    <version>${maven-compiler-plugin.version}</version>
    <configuration>
      <source>1.8</source>
      <target>1.8</target>
    </configuration>
  </plugin>

   <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-surefire-plugin</artifactId>
    <version>${maven-surefire-plugin.version}</version>
    <configuration>
      <parallel>all</parallel>
      <threadCount>4</threadCount>
      <redirectTestOutputToFile>true</redirectTestOutputToFile>
    </configuration>
    <dependencies>
      <dependency>
        <groupId>org.apache.maven.surefire</groupId>
        <artifactId>surefire-junit47</artifactId>
        <version>${maven-surefire-plugin.version}</version>
      </dependency>
    </dependencies>
  </plugin>

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-jar-plugin</artifactId>
    <version>${maven-jar-plugin.version}</version>
  </plugin>

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>${maven-shade-plugin.version}</version>
    <executions>
      <execution>
        <phase>package</phase>
        <goals>
          <goal>shade</goal>
        </goals>
        <configuration>
          <finalName>${project.artifactId}-bundled-${project.version}</finalName>
          <filters>
            <filter>
              <artifact>*:*</artifact>
              <excludes>
                <exclude>META-INF/LICENSE</exclude>
                <exclude>META-INF/*.SF</exclude>
                <exclude>META-INF/*.DSA</exclude>
                <exclude>META-INF/*.RSA</exclude>
              </excludes>
            </filter>
          </filters>
          <transformers>
            <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
          </transformers>
        </configuration>
      </execution>
    </executions>
  </plugin>
...