Flume Exception в потоке "main" java .lang.OutOfMemoryError: Java пространство кучи - PullRequest
0 голосов
/ 02 мая 2020

arun@arun-admin: / usr / lib / apache -flume-1.6.0-bin / bin $ ./flume-ng agent --conf ./conf/ -f / usr / lib / apache - свойства flume-1.6.0 -Dflume. root .logger = DEBUG, консоль -n Информация агента: Включая библиотеки Had oop, найденные через (/ usr / share / hadoop / bin / had oop) для доступа к HDFS Информация: Исключая /usr/share/hadoop/share/hadoop/common/lib/slf4j-api-1.7.10.jar из classpath Информация: Исключая /usr/share/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7 .10.jar из classpath Info: Включая библиотеки Hive, найденные через (/usr/lib/apache-hive-3.1.2-bin) для доступа к Hive + exe c / usr / lib / jvm / java - 11-openjdk-amd64 / bin / java -Xmx20m -Dflume. root .logger = DEBUG, console -cp './conf/:/usr/lib/apache-flume-1.6.0-bin/ Библиотека / * * тысяча два: / USR / доли / Hadoop / и т.д. / у oop: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / активации-1.1.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / ApacheDS-i18n-2.0.0-M15.jar: /usr/share/hadoop/share/hadoop/common/lib/apacheds-kerberos-codec-2.0.0-M15.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / API- ASN1-апи-1.0.0-M20.jar: /usr/share/hadoop/share/hadoop/common/lib/api-util-1.0.0-M20.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / ASM-3.2.jar: /usr/share/hadoop/share/hadoop/common/lib/avro-1.7.4.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / commons- BeanUtils-1.7.0.jar: /usr/share/hadoop/share/hadoop/common/lib/commons-beanutils-core-1.8.0.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / Обще-кли-1.2.jar: /usr/share/hadoop/share/hadoop/common/lib/commons-codec-1.4.jar: / USR / доли / Hadoop / доля / Hadoop / общие / Lib / Обще -collections-3.2.2.jar: /usr/share/hadoop/share/hadoop/common/lib/commons-compress-1.4.1.jar: / USR / доли / Hadoop / доля / Hadoop / общие / Lib / Обще -конфигурация-1.6.jar: /usr/share/hadoop/share/hadoop/common/lib/commons-digester-1.8.jar: /usr/share/hadoop/share/hadoop/common/lib/commons-httpclient-3.1 .jar: /usr/share/hadoop/share/hadoop/common/lib/commons-io-2.4.jar: /usr/share/hadoop/share/hadoop/common/lib/commons-lang-2.6.jar: / USR / доли / Hadoop / доля / Hadoop / общие / Lib / Обще-ЛО gging-1.1.3.jar: /usr/share/hadoop/share/hadoop/common/lib/commons-math3-3.1.1.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / commons- net -3.1.jar: /usr/share/hadoop/share/hadoop/common/lib/curator-client-2.7.1.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / curator- каркасный 2.7.1.jar: /usr/share/hadoop/share/hadoop/common/lib/curator-recipes-2.7.1.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / gson- 2.2.4.jar: /usr/share/hadoop/share/hadoop/common/lib/guava-11.0.2.jar: / USR / доли / Hadoop / доля / Hadoop / общие / Lib / имели oop -annotations -2.7.3.jar: /usr/share/hadoop/share/hadoop/common/lib/hadoop-auth-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / Hamcrest-ядро-1.3.jar: /usr/share/hadoop/share/hadoop/common/lib/htrace-core-3.1.0-incubating.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / HttpClient-4.2.5.jar: /usr/share/hadoop/share/hadoop/common/lib/httpcore-4.2.5.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / ДЖЕКСОНА-core- ASL-1.9.13.jar: / USR / доли / Hadoop / доля / Hadoop / общий / Lib / ДЖЕКСОН-jaxrs-1. 9.13.jar: /usr/share/hadoop/share/hadoop/common/lib/jackson-mapper-asl-1.9.13.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / ДЖЕКСОНА-х c -1.9.13.jar: /usr/share/hadoop/share/hadoop/common/lib/java-xmlbuilder-0.4.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / JAXB -api-2.2.2.jar: /usr/share/hadoop/share/hadoop/common/lib/jaxb-impl-2.2.3-1.jar: / USR / доли / Hadoop / доля / Hadoop / общие / Lib /jersey-core-1.9.jar:/usr/share/hadoop/share/hadoop/common/lib/jersey-json-1.9.jar:/usr/share/hadoop/share/hadoop/common/lib/jersey -server-1.9.jar: /usr/share/hadoop/share/hadoop/common/lib/jets3t-0.9.0.jar: /usr/share/hadoop/share/hadoop/common/lib/jettison-1.1.jar : /usr/share/hadoop/share/hadoop/common/lib/jetty-6.1.26.jar: /usr/share/hadoop/share/hadoop/common/lib/jetty-util-6.1.26.jar: / USR / доли / Hadoop / доля / Hadoop / общее / Библиотека / JSch-0.1.42.jar: /usr/share/hadoop/share/hadoop/common/lib/jsp-api-2.1.jar: / USR / доля / Hadoop / доля / Hadoop / общее / Библиотека / jsr305-3.0.0. баночка: /usr/share/hadoop/share/hadoop/common/lib/junit-4.11.jar: /usr/share/hadoop/share/hadoop/common/lib/log4j-1.2.17.jar: / USR / доли /hadoop/share/hadoop/common/lib/mockito-all-1.8.5.jar:/usr/share/hadoop/share/hadoop/common/lib/netty-3.6.2.Final.jar:/usr/share /hadoop/share/hadoop/common/lib/paranamer-2.3.jar:/usr/share/hadoop/share/hadoop/common/lib/protobuf-java-2.5.0.jar:/usr/share/hadoop /share/hadoop/common/lib/servlet-api-2.5.jar:/usr/share/hadoop/share/hadoop/common/lib/snappy-java-1.0.4.1.jar:/usr/share/hadoop /share/hadoop/common/lib/stax-api-1.0-2.jar:/usr/share/hadoop/share/hadoop/common/lib/xmlenc-0.52.jar:/usr/share/hadoop/ доля / Hadoop / общее / Библиотека / XZ-1.0.jar: /usr/share/hadoop/share/hadoop/common/lib/zookeeper-3.4.6.jar: / USR / доли / Hadoop / доля / Hadoop / общее / был oop -Общие-2.7.3.jar: /usr/share/hadoop/share/hadoop/common/hadoop-common-2.7.3-tests.jar: / USR / доли / Hadoop / доля / Hadoop / общие / у oop -nfs-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / общие / jdiff: / USR / доли / га DOOP / доля / Hadoop / общее / Библиотека: / USR / доли / Hadoop / доля / Hadoop / общие / источники: / USR / доли / Hadoop / доля / Hadoop / общие / шаблоны: / USR / доли / Hadoop / доля / Hadoop /hdfs:/usr/share/hadoop/share/hadoop/hdfs/lib/asm-3.2.jar:/usr/share/hadoop/share/hadoop/hdfs/lib/commons-cli-1.2.jar:/usr/ доля / Hadoop / доля / Hadoop / HDFS / Библиотека / Обще-код c -1.4.jar: /usr/share/hadoop/share/hadoop/hdfs/lib/commons-daemon-1.0.13.jar: / USR /share/hadoop/share/hadoop/hdfs/lib/commons-io-2.4.jar:/usr/share/hadoop/share/hadoop/hdfs/lib/commons-lang-2.6.jar:/usr/share/hadoop /share/hadoop/hdfs/lib/commons-logging-1.1.3.jar:/usr/share/hadoop/share/hadoop/hdfs/lib/guava-11.0.2.jar:/usr/share/hadoop/share /hadoop/hdfs/lib/htrace-core-3.1.0-incubating.jar:/usr/share/hadoop/share/hadoop/hdfs/lib/jackson-core-asl-1.9.13.jar:/usr/share /hadoop/share/hadoop/hdfs/lib/jackson-mapper-asl-1.9.13.jar:/usr/share/hadoop/share/hadoop/hdfs/lib/jersey-core-1.9.jar:/usr/share /hadoop/share/hadoop/hdfs/lib/jersey-server-1.9.jar:/usr/share/hadoop/sh есть / Hadoop / HDFS / Библиотека / Причал-6.1.26.jar: /usr/share/hadoop/share/hadoop/hdfs/lib/jetty-util-6.1.26.jar: / USR / доли / Hadoop / доля / Hadoop / HDFS / Библиотека / jsr305-3.0.0.jar: /usr/share/hadoop/share/hadoop/hdfs/lib/leveldbjni-all-1.8.jar: / USR / доли / Hadoop / доля / Hadoop / HDFS / Библиотека / log4j-1.2.17.jar: /usr/share/hadoop/share/hadoop/hdfs/lib/netty-3.6.2.Final.jar: / USR / доли / Hadoop / доля / Hadoop / HDFS / Библиотека / Нетти-все-4.0.23.Final.jar: /usr/share/hadoop/share/hadoop/hdfs/lib/protobuf-java-2.5.0.jar: / USR / доли / Hadoop / доля / Hadoop / HDFS / Библиотека / сервлет-апи-2.5.jar: /usr/share/hadoop/share/hadoop/hdfs/lib/xercesImpl-2.9.1.jar: / USR / доли / Hadoop / доля / Hadoop / HDFS / Библиотека / xml -apis-1.3.04.jar: /usr/share/hadoop/share/hadoop/hdfs/lib/xmlenc-0.52.jar: / USR / доли / Hadoop / доля / Hadoop / HDFS / HAD oop -hdfs-2.7.3.jar: /usr/share/hadoop/share/hadoop/hdfs/hadoop-hdfs-2.7.3-tests.jar: / USR / доли / Hadoop / доля / Hadoop /hdfs/hadoop-hdfs-nfs-2.7.3.jar:/usr/share/hadoop/share/hadoop/hdfs/jdiff:/usr/share/hadoop/share/hadoop/hdfs/lib:/usr / Shar е / Hadoop / доля / Hadoop / HDFS / Источники: / USR / доли / Hadoop / доля / Hadoop / HDFS / Шаблоны: / USR / доли / Hadoop / доля / Hadoop / HDFS / WebApps: / USR / доли / Hadoop / акция /hadoop/yarn/lib/activation-1.1.jar:/usr/share/hadoop/share/hadoop/yarn/lib/aopalliance-1.0.jar:/usr/share/hadoop/share/hadoop/yarn/lib/asm -3.2.jar: /usr/share/hadoop/share/hadoop/yarn/lib/commons-cli-1.2.jar: / USR / доли / Hadoop / доля / Hadoop / нить / Библиотека / Обще-код c - 1.4.jar: /usr/share/hadoop/share/hadoop/yarn/lib/commons-collections-3.2.2.jar: /usr/share/hadoop/share/hadoop/yarn/lib/commons-compress-1.4. 1.jar: /usr/share/hadoop/share/hadoop/yarn/lib/commons-io-2.4.jar: /usr/share/hadoop/share/hadoop/yarn/lib/commons-lang-2.6.jar: /usr/share/hadoop/share/hadoop/yarn/lib/commons-logging-1.1.3.jar:/usr/share/hadoop/share/hadoop/yarn/lib/guava-11.0.2.jar:/usr /share/hadoop/share/hadoop/yarn/lib/guice-3.0.jar:/usr/share/hadoop/share/hadoop/yarn/lib/guice-servlet-3.0.jar:/usr/share/hadoop/share /hadoop/yarn/lib/jackson-core-asl-1.9.13. баночка: /usr/share/hadoop/share/hadoop/yarn/lib/jackson-jaxrs-1.9.13.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jackson-mapper-asl-1.9. 13.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jackson-xc-1.9.13.jar: /usr/share/hadoop/share/hadoop/yarn/lib/javax.inject -1.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jaxb-api-2.2.2.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jaxb-impl-2.2 .3-1.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jersey-client-1.9.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jersey-core-1.9 .jar: /usr/share/hadoop/share/hadoop/yarn/lib/jersey-guice-1.9.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jersey-json-1.9.jar : /usr/share/hadoop/share/hadoop/yarn/lib/jersey-server-1.9.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jettison-1.1.jar: / USR / доли / Hadoop / доля / Hadoop / нить / Библиотека / причал-6.1.26.jar: /usr/share/hadoop/share/hadoop/yarn/lib/jetty-util-6.1.26.jar: / USR / доли / Hadoop / доля / Hadoop / нить / Библиотека / jsr305-3.0.0.jar: /usr/share/hadoop/share/hadoop/yarn/lib/leveldbjni-all-1.8.jar: / USR / доли / Hadoop / доля / Hadoop / нить / Библиотека / log4j-1.2.17.jar: /usr/share/hadoop/share/hadoop/yarn/lib/netty-3.6.2.Final.jar: / USR / доли / Hadoop / доля / Hadoop / нить / Библиотека / protobuf- java -2.5.0.jar: /usr/share/hadoop/share/hadoop/yarn/lib/servlet-api-2.5.jar: / USR / доли / Hadoop / доля / Hadoop / нить / Библиотека / StAX-апи-1.0-2.jar: /usr/share/hadoop/share/hadoop/yarn/lib/xz-1.0.jar: / USR / доли / Hadoop / доля / Hadoop / пряжа / Библиотека / Zookeeper-3.4.6.jar: /usr/share/hadoop/share/hadoop/yarn/lib/zookeeper-3.4.6-tests.jar: / USR / доли / Hadoop / доля / Hadoop / нить / был oop -yarn-апи-2.7.3.jar: /usr/share/hadoop/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / пряжа / HAD oop -yarn-приложения-неуправляемый-ам-пусковая-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / пряжа / HAD oop -yarn-клиент -2.7.3.jar: /usr/share/hadoop/share/hadoop/yarn/hadoop-yarn-common-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / нить / у oop -yarn-реестр-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / пряжа / HAD oop -yarn-сервер-applicationhis toryservice-2.7.3.jar: /usr/share/hadoop/share/hadoop/yarn/hadoop-yarn-server-common-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / пряжи /hadoop-yarn-server-nodemanager-2.7.3.jar:/usr/share/hadoop/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-2.7.3.jar:/usr /share/hadoop/share/hadoop/yarn/hadoop-yarn-server-sharedcachemanager-2.7.3.jar:/usr/share/hadoop/share/hadoop/yarn/hadoop-yarn-server- Тесты-2.7.3.jar: /usr/share/hadoop/share/hadoop/yarn/hadoop-yarn-server-web-proxy-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / нить / Библиотека: / USR / доли / Hadoop / доля / Hadoop / нить / источники: / USR / доли / Hadoop / доля / Hadoop / нить / тест: / USR / доли / Hadoop / доля / Hadoop / MapReduce / Библиотека / aopalliance-1.0.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/asm-3.2.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/avro-1.7.4.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/commons-compress-1.4.1.jar:/usr/share/hadoop/share/hadoop/mapreduce/lib/commons-io-2.4.jar:/usr /share/hadoop/share/hadoop/mapreduce/lib/guice-3.0.ja г: /usr/share/hadoop/share/hadoop/mapreduce/lib/guice-servlet-3.0.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/hadoop-annotations-2.7.3 .jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/hamcrest-core-1.3.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/jackson-core-asl-1.9.13 .jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/jackson-mapper-asl-1.9.13.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/javax.inject-1 .jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/jersey-core-1.9.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/jersey-guice-1.9.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / Библиотека / джерси-сервер 1.9.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/junit-4.11.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / Библиотека / leveldbjni-все-1.8.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/log4j-1.2.17.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / Библиотека / Нетти-3.6.2.Final.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/paranamer-2.3. баночка: /usr/share/hadoop/share/hadoop/mapreduce/lib/protobuf-java-2.5.0.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / Библиотека / snappy- java - 1.0.4.1.jar: /usr/share/hadoop/share/hadoop/mapreduce/lib/xz-1.0.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / у oop -mapreduce-клиент-приложение -2.7.3.jar: /usr/share/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / был oop -mapreduce-клиент-ядро-2.7.3.jar: /usr/share/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-2.7.3.jar: / USR / доля / Hadoop / доля / Hadoop / MapReduce / у oop -mapreduce-клиент-HS-плагины-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / у oop -mapreduce-клиент -jobclient-2.7.3.jar: /usr/share/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.3-tests.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / у oop -mapreduce-клиент перетасовка-2.7.3.jar: /usr/share/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar: / USR / доли / Hadoop / доля / Hadoop / MapReduce / Библиотека: / USR / доли / Hadoop / доля / Hadoop / MapReduce / Lib-примеры: / USR / доли / Hadoop / доля / Hadoop / MapReduce / Источники: / USR / доли / Hadoop / вно / емкость-планировщик / .jar: /usr/lib/apache-hive-3.1.2-bin/lib/* '-D java .library.path =: / usr / share / hadoop / lib org. apache .flume.node.Application -f

...