Как получить агрегацию логов в коде по yarnClient - PullRequest
Новая
       12

Как получить агрегацию логов в коде по yarnClient

1 голос
/ 09 апреля 2020

Я следую этому примеру о создании YarnApp с помощью java API.

https://github.com/hortonworks/simple-yarn-app

Работает нормально, но журнал существует только при исполнении, после него журнал пропал.

Как я могу поймать это по коду? или, может быть, включить один вариант?

1 Ответ

0 голосов
/ 12 апреля 2020

Журналы можно найти с помощью LogCliHelpers по идентификатору приложения после его завершения: 

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.UserGroupInformation;
import org.apache.hadoop.yarn.api.records.ApplicationId;
import org.apache.hadoop.yarn.api.records.ApplicationSubmissionContext;
import org.apache.hadoop.yarn.client.api.YarnClientApplication;
import org.apache.hadoop.yarn.conf.YarnConfiguration;
import org.apache.hadoop.yarn.exceptions.YarnException;
import org.apache.hadoop.yarn.logaggregation.LogCLIHelpers;

import java.io.IOException;
import java.io.PrintStream;

public static void getLogs(YarnConfiguration conf, YarnClientApplication app) throws IOException, YarnException {
    ApplicationSubmissionContext appContext =
            app.getApplicationSubmissionContext();
    ApplicationId appId = appContext.getApplicationId();
    LogCLIHelpers logCLIHelpers = new LogCLIHelpers();
    logCLIHelpers.setConf(conf);
    FileSystem fs = FileSystem.get(conf);
    Path logFile = new Path("/path/to/log/file.log");
    fs.create(logFile, false);
    try (PrintStream printStream = new PrintStream(logFile.toString())) {
      logCLIHelpers.dumpAllContainersLogs(appId, UserGroupInformation.getCurrentUser().getShortUserName(), printStream);
    }
}
...