Maven: собрать код Scala и код Java вместе в Fat JAR

Question

У меня есть проект Scala, который я встроил в Fat JAR.Сегодня мне нужно было добавить несколько классов Java в проект, но теперь моя сборка Maven не удалась.

Структура моего проекта выглядит (примерно) так:

.
├── src
│   └── main
│       ├── resources
│       │   └── Log4j.properties
|       ├── java
│       │   └── com
│       │       └── myorg
│       │           └── myproject
│       │               └── MyPublicJavaClass.java
│       └── scala
│           └── com
│               └── myorg
│                   └── myproject
│                       └── spark
│                           └── Main.scala
└── pom.xml

А вот что такое мой файл POMвыглядит так:

<?xml version="1.0"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <name>myproject</name>
  <url>http://maven.apache.org</url>

  <groupId>com.myorg</groupId>
  <artifactId>myproject</artifactId>
  <packaging>jar</packaging>
  <version>0.1.0-RELEASE</version>

  <properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <encoding>UTF-8</encoding>
    <scala.tools.version>2.11</scala.tools.version>
    <scala.version>2.11.8</scala.version>
    <spark.version>2.4.0</spark.version>
    <aws.sdk.version>1.11.553</aws.sdk.version>
  </properties>

  <build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <testSourceDirectory>src/test/scala</testSourceDirectory>
    <resources>
      <resource>
        <directory>src/main/resources</directory>
      </resource>
    </resources>
    <testResources>
      <testResource>
        <directory>src/test/resources</directory>
      </testResource>
    </testResources>

    <plugins>
      <!-- I added this plugin today to try and make it compile the Java code -->
      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>build-helper-maven-plugin</artifactId>
        <version>3.0.0</version>
        <executions>
          <execution>
            <phase>generate-sources</phase>
            <configuration>
              <sources>
                <source>src/main/java</source>
              </sources>
            </configuration>
          </execution>
        </executions>
      </plugin>

      <!-- This compiles the Scala code -->
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <version>2.15.2</version>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>

      <!-- This builds the fat JAR -->
      <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
        <configuration>
          <archive>
            <manifest>
              <mainClass>com.myorg.myproject.spark.Main</mainClass>
            </manifest>
          </archive>
          <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
          </descriptorRefs>
        </configuration>
        <executions>
          <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
              <goal>single</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>

  <dependencies>
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.tools.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_${scala.tools.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>com.amazonaws</groupId>
      <artifactId>aws-java-sdk-core</artifactId>
      <version>${aws.sdk.version}</version>
    </dependency>
    <dependency>
      <groupId>com.amazonaws</groupId>
      <artifactId>aws-java-sdk-dynamodb</artifactId>
      <version>${aws.sdk.version}</version>
    </dependency>
    <dependency>
      <groupId>com.amazon.emr</groupId>
      <artifactId>emr-dynamodb-hadoop</artifactId>
      <version>4.8.0</version>
    </dependency>
    <dependency>
      <groupId>com.github.scopt</groupId>
      <artifactId>scopt_${scala.tools.version}</artifactId>
      <version>3.7.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-scala</artifactId>
      <version>11.0</version>
      <type>pom</type>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.8.2</version>
      <scope>test</scope>
    </dependency>
  </dependencies>
</project>

До того, как я добавил класс Java, наряду с build-helper-maven-plugin сегодня, Maven смог построить этот проект без каких-либо проблем.Но теперь, похоже, я не настроил этот плагин правильно, или, возможно, я не использую правильный плагин?

Мой код Scala пытается использовать объект типа MyPublicJavaClass, поэтому теперь ошибки сборкиЯ вижу, что в Maven выглядит так:

[ОШИБКА] ~ / src / main / scala / com / myorg / myproject / spark / Main.scala: 227: ошибка: не найдена: введите MyPublicJavaClass

...

[ОШИБКА] Не удалось выполнить цель org.scala-tools: maven-scala-plugin: 2.15.2: скомпилировать (по умолчанию) в проекте myproject: wrap: org.apache.commons.exec.ExecuteException: Процесс завершился с ошибкой: 1 (Выходное значение: 1) -> [Справка 1]

Я думал, что build-helper-maven-plugin скажет ему добавить код JavaИсходный каталог со списком исходных текстов для генерации до компиляции, но, видимо, нет.Как я могу это исправить?

Answer 1

Вы используете очень старый плагин для компиляции Scala (выпущена последняя версия 2.15.2 6 февраля 2011 ).

Я предлагаю вам сначала перейти на более новый плагин, например scala-maven-plugin (последний выпуск 4.0.2 от 11 мая 2019 г.).

Затем вы можете найти пример со смешанными исходниками Scala / Java в документации . В этом случае нет необходимости использовать build-helper-maven-plugin или настраивать sourceDirectory и testSourceDirectory. Проверьте этот простой pom.xml с помощью этого плагина (я только что удалил неиспользуемые зависимости из примера, который вы предоставили при локальном воспроизведении проблемы):

<?xml version="1.0"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <name>myproject</name>
  <url>http://maven.apache.org</url>

  <groupId>com.myorg</groupId>
  <artifactId>myproject</artifactId>
  <packaging>jar</packaging>
  <version>0.1.0-RELEASE</version>

  <properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <encoding>UTF-8</encoding>
    <scala.tools.version>2.11</scala.tools.version>
    <scala.version>2.11.8</scala.version>
  </properties>

  <build>
    <plugins>
      <plugin>
        <groupId>net.alchim31.maven</groupId>
        <artifactId>scala-maven-plugin</artifactId>
        <version>4.0.2</version>
          <executions>
            <execution>
              <id>scala-compile-first</id>
              <phase>process-resources</phase>
              <goals>
                <goal>add-source</goal>
                <goal>compile</goal>
              </goals>
            </execution>
            <execution>
              <id>scala-test-compile</id>
              <phase>process-test-resources</phase>
              <goals>
                <goal>testCompile</goal>
              </goals>
          </execution>
        </executions>
      </plugin>

      <!-- This builds the fat JAR -->
      <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
        <configuration>
          <archive>
            <manifest>
              <mainClass>com.myorg.myproject.spark.Main</mainClass>
            </manifest>
          </archive>
          <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
          </descriptorRefs>
        </configuration>
        <executions>
          <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
              <goal>single</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>

  <dependencies>
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
      <scope>provided</scope>
    </dependency>
  </dependencies>
</project>