получение исключения тайм-аута при чтении из HBase с использованием spark scala (с shc 1.1.1-2.1-s_2.11) - PullRequest
Новая
       5

получение исключения тайм-аута при чтении из HBase с использованием spark scala (с shc 1.1.1-2.1-s_2.11)

0 голосов
/ 26 октября 2018

При чтении из hbase я получаю ошибку, как показано ниже 

Caused by: java.io.IOException: Call to <hostname>.local/<ip address>:60020 failed on local exception: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=15, waitTime=59998, operationTimeout=59997 expired.
    at org.apache.hadoop.hbase.ipc.RpcClientImpl.wrapException(RpcClientImpl.java:1263)
    at org.apache.hadoop.hbase.ipc.RpcClientImpl.call(RpcClientImpl.java:1231)
    at org.apache.hadoop.hbase.ipc.AbstractRpcClient.callBlockingMethod(AbstractRpcClient.java:218)
    at org.apache.hadoop.hbase.ipc.AbstractRpcClient$BlockingRpcChannelImplementation.callBlockingMethod(AbstractRpcClient.java:292)
    at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$BlockingStub.scan(ClientProtos.java:32831)
    at org.apache.hadoop.hbase.client.ScannerCallable.call(ScannerCallable.java:219)
    at org.apache.hadoop.hbase.client.ScannerCallable.call(ScannerCallable.java:63)
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:211)
    at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas$RetryingRPC.call(ScannerCallableWithReplicas.java:396)
    at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas$RetryingRPC.call(ScannerCallableWithReplicas.java:370)
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:136)
    ... 4 more
Caused by: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=15, waitTime=59998, operationTimeout=59997 expired.
    at org.apache.hadoop.hbase.ipc.Call.checkAndSetTimeout(Call.java:70)
    at org.apache.hadoop.hbase.ipc.RpcClientImpl.call(RpcClientImpl.java:1205)

Однако я использую приведенную ниже конфигурацию в коде, чтобы избежать отметки времени, так или иначе эти свойства не переопределяются: 

hbaseConf.set("hbase.rpc.timeout", "1800000")
hbaseConf.set("hbase.client.scanner.timeout.period", "1800000")

Интересно, если я что-то упустил? Может кто-нибудь помочь, пожалуйста?

...