Как увеличить память на прокси-сервере Accumulo? - PullRequest
Новая
       42

Как увеличить память на прокси-сервере Accumulo?

0 голосов
/ 23 октября 2018

В настоящее время выполняется задание с большими данными, которое выполняет множество небольших вставок в таблицу накопления, однако после выполнения в течение примерно часа всегда будет получено исключение OOM 

2018-10-09 12:19:17,345 [rpc.CustomNonBlockingServer$CustomFrameBuffer] WARN : Got an IOException in internalRead!
java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
        at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
        at sun.nio.ch.IOUtil.read(IOUtil.java:197)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
        at org.apache.thrift.transport.TNonblockingSocket.read(TNonblockingSocket.java:142)
        at org.apache.thrift.server.AbstractNonblockingServer$FrameBuffer.internalRead(AbstractNonblockingServer.java:539)
        at org.apache.thrift.server.AbstractNonblockingServer$FrameBuffer.read(AbstractNonblockingServer.java:338)
        at org.apache.thrift.server.AbstractNonblockingServer$AbstractSelectThread.handleRead(AbstractNonblockingServer.java:203)
        at org.apache.thrift.server.TNonblockingServer$SelectAcceptThread.select(TNonblockingServer.java:203)
        at org.apache.thrift.server.TNonblockingServer$SelectAcceptThread.run(TNonblockingServer.java:154)
#
# java.lang.OutOfMemoryError: Java heap space
# -XX:OnOutOfMemoryError="kill -9 %p"
#   Executing /bin/sh -c "kill -9 71952"...
Killed

Есть ли способ увеличитьпамяти при запуске прокси-сервера либо через командную строку, либо через файл конфигурации?их документация является запасной и не дает особого понимания.

./bin/accumulo proxy -p proxy/proxy.properties #option to increase memory

1 Ответ

0 голосов
/ 30 октября 2018

Команда bin/accumulo, которую вы выполняете, является bash сценарием оболочки, который получает conf/accumulo-env.sh, где вы обычно устанавливаете некоторые параметры командной строки Java.

Предоставленные сценарии запуска немногосбивает с толку в версиях до Accumulo 2.x, но ожидается, что будет намного проще и более прямым / интуитивным в 2.0.0 и позже.В 1.9.x (и, возможно, в некоторых более ранних версиях) вы можете добавить соответствующие флаги Java для увеличения памяти в среде ACCUMULO_OTHER_OPTS в файле conf/accumulo-env.sh.

...