Spark Job RP C выпуск - PullRequest
       49

Spark Job RP C выпуск

0 голосов
/ 01 мая 2020

Моя работа с искрой проходит успешно, но это занимает больше времени, чем обычно.

Повторное получение следующего сообщения в узле драйвера, когда задание принимается, а также когда оно выполняется -

20/05/01 01:17:05 INFO resource.u: Set a new configuration for the first time.
20/05/01 01:17:06 INFO reflect.d: Method not implemented in this version of Hadoop: org.apache.hadoop.fs.FileSystem.getGlobalStorageStatistics
20/05/01 01:17:06 INFO reflect.d: Method not implemented in this version of Hadoop: org.apache.hadoop.fs.FileSystem$Statistics.getBytesReadLocalHost
20/05/01 01:17:06 INFO Configuration.deprecation: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
20/05/01 01:17:06 INFO resource.l: Scheduling statistics report every 2000 millisecs
20/05/01 01:17:06 INFO rpc.b: Could not get any http protocol, using HTTP and will try to get protocol again
20/05/01 01:17:08 INFO rpc.b: Could not get any http protocol, using HTTP and will try to get protocol again
20/05/01 01:17:10 INFO zookeeper.ZKDataRetrieval: Process path: null. Event state: SyncConnected. Event type: None
20/05/01 01:17:10 INFO zookeeper.ZKDataRetrieval: Getting serviceData for master node of resourcemanager
20/05/01 01:17:10 INFO zookeeper.ZKDataRetrieval: Process path: null. Event state: SaslAuthenticated. Event type: None
20/05/01 01:17:10 INFO rpc.b: Could not get any http protocol, using HTTP and will try to get protocol again

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...