Затененная / переупакованная банка как зависимость - PullRequest
10 голосов
/ 13 марта 2019

У нас есть ситуация, когда нам нужно одно приложение, чтобы иметь возможность подключаться к двум версиям kafka (0.7.2 и 0.10.0+) и действовать как маршрутизатор.Я пытаюсь опустить использование двух сред выполнения здесь, поскольку нам нужно, чтобы это было глупо быстро, поэтому я хочу предотвратить дополнительную сериализацию / десериализацию при отправке данных между средами выполнения.

Для этого я попытался упаковатьстарый драйвер kafka из пакета kafka до old.kafka примерно так:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>kafka-router</artifactId>
        <groupId>org.deer</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>old-kafka</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <kafka.version>0.7.2</kafka.version>
    </properties>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-dependency-plugin</artifactId>
                <version>3.1.1</version>
                <executions>
                    <execution>
                        <id>unpack</id>
                        <phase>compile</phase>
                        <goals>
                            <goal>unpack</goal>
                        </goals>
                        <configuration>
                            <artifactItems>
                                <artifactItem>
                                    <groupId>org.apache.kafka</groupId>
                                    <artifactId>kafka_2.9.2</artifactId>
                                    <version>${kafka.version}</version>
                                    <type>jar</type>
                                    <overWrite>false</overWrite>
                                    <outputDirectory>${project.build.directory}/classes</outputDirectory>
                                    <includes>**/*.class,**/*.xml</includes>
                                </artifactItem>
                            </artifactItems>
                            <includes>**/*.java</includes>
                            <overWriteReleases>false</overWriteReleases>
                            <overWriteSnapshots>true</overWriteSnapshots>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.2</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <relocations>
                                <relocation>
                                    <pattern>kafka.</pattern>
                                    <shadedPattern>old.kafka.</shadedPattern>
                                </relocation>
                            </relocations>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

Я используюплагин зависимостей для распаковки классов kafka в target / classes и плагин shade для их перепаковки.Причина этого заключается в том, что последний jar должен действовать так, как если бы он был jar-драйвером kafka (у него нет других транзитивных зависимостей, поэтому он не может вызвать некоторое несоответствие, используя вместо этого kafka из old.kafka . Но дело не в этом, просто в попытках предотвратить неуместные вопросы.

Основная проблема заключается в том, что когда япосмотрите на банку, которая была установлена ​​в .m2, она выглядит правильно (с пакетом old.kafka ):

enter image description here

Но когда я пытаюсь использовать этот jar-файл в качестве зависимости, вот так ...

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>kafka-router</artifactId>
        <groupId>org.deer</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>router-app</artifactId>
    <version>1.0-SNAPSHOT</version>


    <dependencies>
        <dependency>
            <groupId>org.deer</groupId>
            <artifactId>old-kafka</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
    </dependencies>
</project>

... и ссылаться на него в классе, например ...

package org.deer.test;

import old.kafka.producer.ProducerData;

public class TwoKafkaDriversExample {

    public static void main(String[] args) {
        new ProducerData();
    }
}

... импорт сам по себе не работает. У меня есть подозрение, что в затененной банке отсутствует что-то связанное с maven, но я ничего не заметил. Другой возможный вариант - это то, что плагин для тени или asm не любятбайт-код, который генерируют классы Scala.

Import not working

Project view

1 Ответ

6 голосов
/ 18 марта 2019

Хорошо, так что я смог понять это.Ошибка импорта - проблема с intelij, по некоторым причинам она не видит переупакованные классы.Но maven делает, с помощью правильного конструктора и добавления зависимости scala-lang (он жаловался на отсутствие класса Seq), я смог построить это.

enter image description here

enter image description here

enter image description here

Полный пример загружен на github - https://github.com/Marssmart/kafka-router

...