рулонная установка лотка hdfs раковина - PullRequest
Новая
       51

рулонная установка лотка hdfs раковина

0 голосов
/ 11 июня 2018

Ниже мои настройки в файле flume.conf: 

agent.sources = srcpv
agent.channels = chlpv
agent.sinks = hdfsSink
agent.sources.srcpv.type = exec
agent.sources.srcpv.command = tail -F /var/log/collector/web/pv.log
agent.sources.srcpv.channels = chlpv
agent.channels.chlpv.type = memory
agent.channels.chlpv.capacity = 1000000
agent.channels.chlpv.transactionCapacity = 100
agent.sinks.hdfsSink.type = hdfs
agent.sinks.hdfsSink.channel = chlpv
agent.sinks.hdfsSink.hdfs.path = hdfs://hadoop01:8020/flume/web/pv/
agent.sinks.hdfsSink.hdfs.filePrefix = pv-
agent.sinks.hdfsSink.hdfs.rollSize = 1024
agent.sinks.hdfsSink.hdfs.rollInterval= 30
agent.sinks.hdfsSink.hdfs.rollCount = 10

Мне бы хотелось, чтобы файл можно было катить с определенным размером или интервалом, но настройка рулона (rollSize, rollInterval, rollCount) не можетвступают в силу , файл hdfs не создается.И я получил эту ошибку через несколько минут:

[SinkRunner-PollingRunner-DefaultSinkProcessor] ERROR org.apache.flume.sink.hdfs.HDFSEventSink - process failed java.lang.OutOfMemoryError: GC overhead limit exceeded

Кто-нибудь может помочь указать на соответствующую настройку HDFS Sink?

1 Ответ

0 голосов
/ 02 августа 2018

Кажется, у вас не хватает памяти Java при запуске flume.

Вы можете попробовать добавить следующую строку в файл flume-env.sh:

export JAVA_OPTS="-Xms100m -Xmx2g -Dcom.sun.management.jmxremote"

Увеличьте значение Xmx согласно конфигурации вашей системы.

Надеюсь, это поможет:)

...