Apache Storm - не может запустить топологию эластичного поиска в локальном режиме - PullRequest
Новая
       38

Apache Storm - не может запустить топологию эластичного поиска в локальном режиме

0 голосов
/ 03 октября 2019

Мне нужно настроить Apache-Storm Crawler и индексировать данные дляasticsearch. Я установил шторм и zookeeper, а также работает шторм-интерфейс. Я следовал этому уроку storm-crawler -asticsearch , чтобы интегрировать шторм сasticsearch. Проблема в том, что я запускаю штормовую команду следующим образом: 

storm jar target/com.mycompany.crawler-1.0-SNAPSHOT.jar  org.apache.storm.flux.Flux --local  es-injector.flux

Эта ошибка возникает: 

 unrecognized arguments: --local es-injector.flux

Я включил штормовую и потоковую зависимость в pom.xml следующим образом: 

 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

<modelVersion>4.0.0</modelVersion>
<groupId>com.mycompany.crawler</groupId>
<artifactId>com.mycompany.crawler</artifactId>
<version>1.0-SNAPSHOT</version>
<packaging>jar</packaging>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <stormcrawler.version>1.14</stormcrawler.version>
</properties>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.2</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.codehaus.mojo</groupId>
            <artifactId>exec-maven-plugin</artifactId>
            <version>1.3.2</version>
            <executions>
                <execution>
                    <goals>
                        <goal>exec</goal>
                    </goals>
                </execution>
            </executions>
            <configuration>
                <executable>java</executable>
                <includeProjectDependencies>true</includeProjectDependencies>
                <includePluginDependencies>false</includePluginDependencies>
                <classpathScope>compile</classpathScope>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>1.3.3</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <createDependencyReducedPom>true</createDependencyReducedPom>
                        <transformers>
                            <transformer
                                implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer" />
                            <transformer
                                implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>org.apache.storm.flux.Flux</mainClass>
                                <manifestEntries>
                                    <Change></Change>
                                    <Build-Date></Build-Date>
                                </manifestEntries>
                            </transformer>
                        </transformers>
                        <!-- The filters below are necessary if you want to include the Tika 
                            module -->
                        <filters>
                            <filter>
                                <artifact>*:*</artifact>
                                <excludes>
                                    <exclude>META-INF/*.SF</exclude>
                                    <exclude>META-INF/*.DSA</exclude>
                                    <exclude>META-INF/*.RSA</exclude>
                                </excludes>
                            </filter>
                            <filter>
                                <!-- https://issues.apache.org/jira/browse/STORM-2428 -->
                                <artifact>org.apache.storm:flux-core</artifact>
                                <excludes>
                                    <exclude>org/apache/commons/**</exclude>
                                    <exclude>org/apache/http/**</exclude>
                                    <exclude>org/yaml/**</exclude>
                                </excludes>
                            </filter>
                        </filters>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

<dependencies>
    <dependency>
        <groupId>com.digitalpebble.stormcrawler</groupId>
        <artifactId>storm-crawler-core</artifactId>
        <version>${stormcrawler.version}</version>
    </dependency>
    <dependency>
        <groupId>com.digitalpebble.stormcrawler</groupId>
        <artifactId>storm-crawler-elasticsearch</artifactId>
        <version>${stormcrawler.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.storm</groupId>
        <artifactId>storm-core</artifactId>
        <version>1.2.2</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.storm</groupId>
        <artifactId>flux-core</artifactId>
        <version>1.2.2</version>
    </dependency>
</dependencies>

Я не понимаю, в чем проблема.

...