Как включить TRACE, входя в спарк - PullRequest
Новая
       40

Как включить TRACE, входя в спарк

0 голосов
/ 12 октября 2018

Я заметил, что в RuleExecutor in spark выполняет журнал трассировки каждый раз, когда катализатор меняет план:

https://github.com/apache/spark/blob/78801881c405de47f7e53eea3e0420dd69593dbd/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/rules/RuleExecutor.scala#L93

Что мне интересно, так это как настроить свечутак что трассировка включена?Я использую log4j и наткнулся на следующую документацию: https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-logging.html

Некоторое время я копался в коде и видел, что вы можете установить 'log4j.threshold = TRACE'чтобы часть регистратора была в режиме трассировки, однако я не могу заставить регистратор использовать катализатор для определения настройки.

Что я делаю не так?

1 Ответ

0 голосов
/ 13 октября 2018

Я только что попробовал простую структурированную потоковую программу, считывающую данные из Kafka в IntelliJ, и следующее утверждение сработало для меня, т.е. дало мне журналы уровня трассировки:

SparkSession.builder().getOrCreate().sparkContext().setLogLevel("TRACE");

Вот частьвывод с некоторыми журналами трассировки: 

...
...
18/10/12 23:56:02 TRACE package$ExpressionCanonicalizer: Fixed point reached for batch CleanExpressions after 1 iterations.
18/10/12 23:56:02 TRACE package$ExpressionCanonicalizer: Batch CleanExpressions has no effect.
18/10/12 23:56:02 TRACE package$ExpressionCanonicalizer: Fixed point reached for batch CleanExpressions after 1 iterations.
18/10/12 23:56:02 TRACE package$ExpressionCanonicalizer: Batch CleanExpressions has no effect.
18/10/12 23:56:02 TRACE package$ExpressionCanonicalizer: Fixed point reached for batch CleanExpressions after 1 iterations.
18/10/12 23:56:02 TRACE package$ExpressionCanonicalizer: Batch CleanExpressions has no effect.
18/10/12 23:56:02 TRACE package$ExpressionCanonicalizer: Fixed point reached for batch CleanExpressions after 1 iterations.
18/10/12 23:56:02 TRACE package$ExpressionCanonicalizer: Batch CleanExpressions has no effect.
+-----+----+-----+-----------------------+
|topic|key |value|timestamp              |
+-----+----+-----+-----------------------+
|test |null|hi345|2018-10-12 23:56:00.099|
+-----+----+-----+-----------------------+
18/10/12 23:56:02 DEBUG GenerateUnsafeProjection: code for input[0, string, true],input[1, string, true],input[2, string, true],input[3, string, true]:
/* 001 */ public java.lang.Object generate(Object[] references) {
/* 002 */   return new SpecificUnsafeProjection(references);
/* 003 */ }
/* 004 */
/* 005 */ class SpecificUnsafeProjection extends org.apache.spark.sql.catalyst.expressions.UnsafeProjection {
/* 006 */
/* 007 */   private Object[] references;
...
...

Надеюсь, это поможет!

...