Как объяснить длительную задержку, прежде чем другой исполнитель выберет задачи? - PullRequest
Новая
       32

Как объяснить длительную задержку, прежде чем другой исполнитель выберет задачи?

0 голосов
/ 30 марта 2019

Как вы можете объяснить следующий результат выполнения предгеля spark graphx? В искровом кластере постоянного размера выполняется одно задание GraphX ​​Pregel.

Код доступен в GitHub , хотя я не ожидаю, что кто-либо углубится в детали, поскольку он довольно сложный.

Мои параметры: 

bin/spark-submit \
    --master k8s://http://localhost:8001 \
    --deploy-mode cluster \
    --name iga-adi-graph \
    --driver-cores 3 \
    --driver-memory 5G \
    --executor-cores 3 \
    --executor-memory 6G \
    --conf spark.executor.instances=10 \
    --conf spark.default.parallelism=30 \
    --conf spark.kubernetes.executor.request.cores=3000m \
    --conf spark.kubernetes.executor.limit.cores=3000m \
    --conf spark.kubernetes.memoryOverheadFactor=0.2 \
    --conf spark.kubernetes.container.image.pullPolicy=Always \
    --conf spark.kubernetes.container.image=kbhit/iga-adi-pregel \
    --conf spark.scheduler.minRegisteredResourcesRatio=1.0 \
    --conf spark.scheduler.maxRegisteredResourcesWaitingTime=300s \
    --files /opt/metrics.properties \
    --conf spark.metrics.conf=/opt/metrics.properties \
    --jars /opt/metrics-influxdb.jar,/opt/spark-influx-sink.jar \
    --conf spark.driver.extraClassPath=spark-influx-sink.jar:metrics-influxdb.jar  \
    --conf spark.executor.extraClassPath=/opt/spark-influx-sink.jar:/opt/metrics-influxdb.jar  \
    --conf spark.executor.extraJavaOptions="" \
    --conf spark.driver.extraJavaOptions="-Dproblem.size=192 -Dproblem.steps=1" \
    --conf spark.kryo.unsafe=true \
    --conf spark.kryoserializer.buffer=32m \
    --conf spark.network.timeout=360s \
    --conf spark.memory.fraction=0.5 \
    --conf spark.cleaner.periodicGC.interval=10s \
    --conf spark.locality.wait.node=0 \
    --conf spark.locality.wait=9999999 \
    --conf spark.kubernetes.executor.volumes.emptyDir.mycheckpoints.mount.path=/tmp/checkpoints \
    --conf spark.kubernetes.driver.volumes.emptyDir.mycheckpoints.mount.path=/tmp/checkpoints \
    --class edu.agh.kboom.iga.adi.graph.IgaAdiPregelSolver \
    local:///opt/iga-adi-pregel.jar &

Long warm up

...