YARN logs .gz формат как распаковать используя команду - PullRequest
0 голосов
/ 23 января 2020

При попытке получить журналы YARN для приложения Spark журналы кажутся сжатыми до формата gzip, как его можно распаковать. LogType: stdout.gz

LogType:stdout.gz
Log Upload Time:Tue Jan 21 03:38:17 +0000 2020
LogLength:1074
Log Contents:
       řϲ£8Ưy
½ þ!    ߶⌔kRك²[µ'1Î
pv歷±ɄA²]ö!券ߏ£²¢ڶ蕷eź6f÷-нOϯ«¿^��zùǪ?¼¿Cû¯UQ

Журналы извлекаются с использованием yarn logs -applicationId <applicationId> > file_name.log, есть что-то, что нужно добавить в команду для распаковки файлов при выводе результатов.

1 Ответ

0 голосов
/ 23 января 2020

Пожалуйста, посмотрите на этот подход:

gunzip -c stdout.gz | myScript.pl -o myoutfile.txt -i -

или вы можете go с:

zcat stdout.gz > yarnstdout

Источник: https://askubuntu.com/questions/418771/uncompress-and-pipe-the-output-to-script

Подобные вопросы: https://unix.stackexchange.com/questions/156261/unzipping-a-gz-file-without-removing-the-gzipped-file/156324#156324 как передать содержимое большого файла tar.gz в STDOUT?

Приветствия!

...