Невозможно отправить данные из flume вasticsearch - PullRequest
Новая
       8

Невозможно отправить данные из flume вasticsearch

0 голосов
/ 08 января 2019

Я пытаюсь отправить данные из Flume в Elasticsearch, используя следующие версии:

Flume Версия 1.8.0 Elasticsearch 6.5.4 Версия Java jdk1.8.0_60

Это конфигурация, которую я использую: 

    elk.sources  = kafka1
    elk.channels = channel1
    elk.sinks = elastic1

################################################
# Describe Source
################################################
    elk.sources.kafka1.type = org.apache.flume.source.kafka.KafkaSource
    elk.sources.kafka1.kafka.bootstrap.servers = 172.16.1.186:9092
    elk.sources.kafka1.kafka.topics = test
    elk.sources.kafka1.kafka.consumer.group.id = NetflowELK
    elk.sources.kafka1.channels = channel1
    elk.sources.kafka1.kafka.consumer.timeout.ms = 1000

################################################
# Describe Channel
################################################

    elk.channels.channel1.type = memory
    elk.channels.channel1.capacity = 2000000
    elk.channels.channel1.transactionCapacity= 20000

################################################
# Describe Sink
################################################

    elk.sinks.elastic1.channel = channel1
    elk.sinks.elastic1.type = org.apache.flume.sink.elasticsearch.ElasticSearchSink
    elk.sinks.elastic1.hostNames = 172.16.1.196:9200,172.16.1.196:9300
    elk.sinks.elastic1.indexName = flume
    elk.sinks.elastic1.indexType = logs
    elk.sinks.elastic1.clusterName = elasticsearch
    elk.sinks.elastic1.batchSize = 500
    elk.sinks.elastic1.ttl = 1d

Таким же образом я помещаю следующие JAR-файлы на $FLUME_HOME/lib 

lib/elasticsearch-5.2.0.jar
lib/lucene-core-6.4.0.jar

но я получаю следующую ошибку:

ОШИБКА жизненного цикла. LifecycleSupervisor: невозможно запустить SinkRunner: { Политика: org.apache.flume.sink.DefaultSinkProcessor@6add9eb counterGroup: {name: null counters: {}}} - исключение следует. java.lang.NoSuchMethodError: org.elasticsearch.common.transport.InetSocketTransportAddress (Ljava / языки / String; I). В в org.apache.flume.sink.elasticsearch.client.ElasticSearchTransportClient.configureHostnames (ElasticSearchTransportClient.java:141) в org.apache.flume.sink.elasticsearch.client.ElasticSearchTransportClient. (ElasticSearchTransportClient.java:77) в org.apache.flume.sink.elasticsearch.client.ElasticSearchClientFactory.getClient (ElasticSearchClientFactory.java:48) в org.apache.flume.sink.elasticsearch.ElasticSearchSink.start (ElasticSearchSink.java:358) на

Любая идея, так много времени уделяется этой проблеме

Заранее спасибо.

...