Flink Savepoints akka.pattern.AskTimeoutException: истекло время ожидания запроса [Actor [akka: // flink / user / jobmanager_1] - PullRequest
Новая
       9

Flink Savepoints akka.pattern.AskTimeoutException: истекло время ожидания запроса [Actor [akka: // flink / user / jobmanager_1]

0 голосов
/ 20 сентября 2018

При выполнении задания потока данных Flink (1.6.0) с RocksDB в качестве внутреннего хранилища и HDFS в качестве хранилища для контрольных точек я столкнулся с akka.pattern.AskTimeoutException при попытке сделать точку сохранения через cli. 

org.apache.flink.util.FlinkException: Triggering a savepoint for the job e569cf53baecae9cb4fa794d590d670f failed.
    at org.apache.flink.client.cli.CliFrontend.triggerSavepoint(CliFrontend.java:714)
    at org.apache.flink.client.cli.CliFrontend.lambda$savepoint$9(CliFrontend.java:692)
    at org.apache.flink.client.cli.CliFrontend.runClusterAction(CliFrontend.java:979)
    at org.apache.flink.client.cli.CliFrontend.savepoint(CliFrontend.java:689)
    at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1059)
    at org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1120)
    at org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
    at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1120)
Caused by: java.util.concurrent.CompletionException: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/jobmanager_15#-1160136947]] after [60000 ms]. Sender[null] sent message of type "org.apache.flink.runtime.rpc.messages.LocalFencedMessage".
    at java.util.concurrent.CompletableFuture.encodeRelay(CompletableFuture.java:326)
    at java.util.concurrent.CompletableFuture.completeRelay(CompletableFuture.java:338)
    at java.util.concurrent.CompletableFuture.uniRelay(CompletableFuture.java:911)
    at java.util.concurrent.CompletableFuture$UniRelay.tryFire(CompletableFuture.java:899)
    at java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:474)
    at java.util.concurrent.CompletableFuture.completeExceptionally(CompletableFuture.java:1977)
    at org.apache.flink.runtime.concurrent.FutureUtils$1.onComplete(FutureUtils.java:770)
    at akka.dispatch.OnComplete.internal(Future.scala:258)
    at akka.dispatch.OnComplete.internal(Future.scala:256)
    at akka.dispatch.japi$CallbackBridge.apply(Future.scala:186)
    at akka.dispatch.japi$CallbackBridge.apply(Future.scala:183)
    at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:36)
    at org.apache.flink.runtime.concurrent.Executors$DirectExecutionContext.execute(Executors.java:83)
    at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:44)
    at scala.concurrent.impl.Promise$DefaultPromise.tryComplete(Promise.scala:252)
    at akka.pattern.PromiseActorRef$$anonfun$1.apply$mcV$sp(AskSupport.scala:603)
    at akka.actor.Scheduler$$anon$4.run(Scheduler.scala:126)
    at scala.concurrent.Future$InternalCallbackExecutor$.unbatchedExecute(Future.scala:601)
    at scala.concurrent.BatchingExecutor$class.execute(BatchingExecutor.scala:109)
    at scala.concurrent.Future$InternalCallbackExecutor$.execute(Future.scala:599)
    at akka.actor.LightArrayRevolverScheduler$TaskHolder.executeTask(LightArrayRevolverScheduler.scala:329)
    at akka.actor.LightArrayRevolverScheduler$$anon$4.executeBucket$1(LightArrayRevolverScheduler.scala:280)
    at akka.actor.LightArrayRevolverScheduler$$anon$4.nextTick(LightArrayRevolverScheduler.scala:284)
    at akka.actor.LightArrayRevolverScheduler$$anon$4.run(LightArrayRevolverScheduler.scala:236)
    at java.lang.Thread.run(Thread.java:748)
Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/jobmanager_15#-1160136947]] after [60000 ms]. Sender[null] sent message of type "org.apache.flink.runtime.rpc.messages.LocalFencedMessage".
    at akka.pattern.PromiseActorRef$$anonfun$1.apply$mcV$sp(AskSupport.scala:604)
    ... 9 more

IЯ увеличил askTimeout с 10 до 60, но я не помог.Также, после исключения, я вижу, что flink создал файл сохранения точки 2,4 ГБ в HDFS.

Мне интересно, что делать в этом случае?Увеличение времени ожидания до высокого значения не выглядит приемлемым подходом, когда состояние начинает расти.

ОБНОВЛЕНИЕ : у меня такое ощущение, что это на самом деле ошибка в CLI или JobManager, как я вижув журнале менеджер задач может сделать все точки сохранения за пару секунд.Журнал диспетчера задач Trunucated: https://pastebin.com/fvu4uhAf

...