Есть ли способ активировать Giraph Stats в giraph для пряжи? - PullRequest
0 голосов
/ 08 сентября 2018

Похоже, что Giraph Stas записываются в журнал только с использованием map-Reduce (снимок giraph-1.3.0, созданный с помощью профиля -Phadoop2 mvn).

Есть ли способ активировать Giraph Stats в журнале, используя также пряжу (giraph-1.3.0-снимок, созданный с помощью профиля -Phadoop_yarn mvn)?

Следует примеру Giraph Stats.

2018-09-08 16:03:01,604 INFO org.apache.hadoop.mapreduce.Job: Counters:   42
File System Counters
    FILE: Number of bytes read=74623213
    FILE: Number of bytes written=75518013
    FILE: Number of read operations=0
    FILE: Number of large read operations=0
    FILE: Number of write operations=0
Map-Reduce Framework
    Map input records=1
    Map output records=0
    Input split bytes=44
    Spilled Records=0
    Failed Shuffles=0
    Merged Map outputs=0
    GC time elapsed (ms)=100
    CPU time spent (ms)=0
    Physical memory (bytes) snapshot=0
    Virtual memory (bytes) snapshot=0
    Total committed heap usage (bytes)=3087007744
Giraph Stats
    Aggregate bytes loaded from local disks (out-of-core)=0
    Aggregate bytes stored to local disks (out-of-core)=0
    Aggregate edges=12
    Aggregate finished vertices=0
    Aggregate sent message bytes=3154
    Aggregate sent messages=24
    Aggregate vertices=5
    Current master task partition=0
    Current workers=1
    Last checkpointed superstep=0
    Lowest percentage of graph in memory so far (out-of-core)=100
    Sent message bytes=1701
    Sent messages=12
    Superstep=2
Giraph Timers
    Initialize (ms)=653
    Input superstep (ms)=599
    Setup (ms)=58
    Shutdown (ms)=8967
    Superstep 0 Worker_Superstep0 (ms)=295
    Superstep 1 Worker_Superstep1 (ms)=605
    Total (ms)=10538
Zookeeper base path
    /_hadoopBsp/job_local881103217_0001=0
Zookeeper halt node
    /_hadoopBsp/job_local881103217_0001/_haltComputation=0
Zookeeper server:port
    cri:22181=0
File Input Format Counters
    Bytes Read=0
File Output Format Counters
    Bytes Written=0

1 Ответ

0 голосов
/ 23 сентября 2018

Используйте

-ca giraph.metrics.enable=true

как объяснено в http://giraph.apache.org/options.html

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...