Получить Pyspark Job Output на NodeJS

Question

Я успешно отправил задание Pyspark и хочу вывести результат задания.

Я получил результат задания из следующего кода:

const output = await storage
      .bucket(clusterResp.config.configBucket)
      .file(
        `google-cloud-dataproc-metainfo/${clusterResp.clusterUuid}/` +
          `jobs/${jobId}/driveroutput.000000000`
      )
      .download();

Однако результат также включает в себя все журналы задания.

Можно ли как-то просто распечатать вывод, полученный моим файлом pyspark, без какой-либо информации о регистрации?

Answer 1

В соответствии с документом введите здесь , вы можете установить --driver-log-уровни для просмотра вывода драйвера / консоли для задания.