Уменьшение количества jar-файлов в пакете развертывания для функции Java Lambda - PullRequest
3 голосов
/ 02 ноября 2019

Я разрабатываю функцию Lambda с двумя обработчиками: один для очистки веб-сайтов, а другой - для создания статического веб-сайта на основе извлеченного и объединенного содержимого.

Я создал два отдельных класса с методами два дескриптораи очистка и создание сайта. Оба класса используют AWS Java SDK для доступа к таким службам, как S3 и DynamoDB. Я также использую другие библиотеки, такие как Apache Free Marker, Gson и т. Д.

Я гарантировал, что в моем коде импортируются только определенные классы, и избегал любых выражений типа import .*.

После того, как я собрал и развернул Lambda, и осмотрел пакет развертывания, я заметил огромный размер: 123 мегабайта! Причиной большого размера пакета является то, что в папку lib включены колоссальные 211 (!) Jar-файлов.

Когда я продолжил анализ включенных jar-файлов, я заметил, что 90% + jar-файлов принадлежатAWS SDK.

Мой вопрос : это нормальный размер файла для пакета развертывания Lambda при создании приложений с интеграциями в различные сервисы AWS или я что-то здесь не так делаю? На мой взгляд, это совсем не сложное приложение, и количество импортированных jar-файлов кажется чрезмерным и взрывает пакет развертывания.

Редактировать 1: мой файл pom.xml включен ниже:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>helloworld</groupId>
    <artifactId>HelloWorld</artifactId>
    <version>1.0</version>
    <packaging>jar</packaging>
    <name>A sample Hello World created for SAM CLI.</name>
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>

    <dependencyManagement>
        <dependencies>
            <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk-bom -->
            <dependency>
                <groupId>com.amazonaws</groupId>
                <artifactId>aws-java-sdk-bom</artifactId>
                <version>1.11.651</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-lambda-java-core</artifactId>
            <version>1.2.0</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <!-- jsoup HTML parser library @ https://jsoup.org/ -->
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.12.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-lambda-java-events -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-lambda-java-events</artifactId>
            <version>2.2.7</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk</artifactId>
            <version>1.11.659</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/software.amazon.awssdk/sdk-core -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-core</artifactId>
            <!--<version>1.11.651</version>-->
        </dependency>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-dynamodb</artifactId>
            <!--<version>1.11.651</version>-->
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.google.code.gson/gson -->
        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk-s3 -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <!--<version>1.11.651</version>-->
        </dependency>

        <dependency>
            <groupId>org.freemarker</groupId>
            <artifactId>freemarker</artifactId>
            <version>2.3.29</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.6</version>
        </dependency>


    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.1.1</version>
                <configuration>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

Редактировать 2: после исключения зависимости 'aws-java-sdk' и повторной сборки проекта я смог снова запустить команду «Развернуть бессерверное приложение», и она сработала. Размер пакета развертывания уменьшен до 9,3 мегабайта и 21 банки - я проверил включенные банки, и они на самом деле те, которые мне действительно нужны.

1 Ответ

1 голос
/ 02 ноября 2019

Проблема здесь в том, что в качестве одной из ваших зависимостей используется следующее:

<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk</artifactId>
    <version>1.11.659</version>
</dependency>

В результате ваш проект зависит от всего AWS Java SDK, а не от отдельной службы. modules.

Решение состоит в том, чтобы удалить эту зависимость, и она зависит только от модулей, необходимых для правильной работы вашего проекта.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...