Я хочу узнать как можно больше о запуске, чтобы найти bottle шеек и предсказать, когда долго выполняющиеся сценарии могут завершиться sh:
Пока у меня есть следующий сценарий, который идентифицирует следующее
what tables have been created
how many rows are in each table
how long each operation took
это решение, которое я придумал, у кого-нибудь есть что-нибудь лучше?
alias tableCreate="grep 'INFO : Table\|seconds' \$logfile | grep -A1 Table --no-group-separator | cut -d' ' -f4,5,8 | paste -s -d' \n' | awk '{ printf \"%s %-60s %20s %12s %s\n\", \$1, \$2, \$3, \$4, \$5 }'"
Вот пример вывода:
Table bi_ngx_prod_enc.featuresextract_daily_copy numRows=35215299285, (496.99 seconds)
Table bi_ngx_prod_enc.featuresextract_curr numRows=67555686, (855.35 seconds)
Table bi_ngx_prod_enc.ps_feature_insert_hx numRows=3393098, (309.263 seconds)
Table bi_ngx_prod_enc.ps_feature_delete_hx numRows=612539, (21.3 seconds)
что еще мы можем извлечь из журналов, которые могут быть полезны?
Полагаю, мне следует также поделиться этим псевдонимом, который устанавливает переменную logfile в последний обновленный файл в каталоге журналов, а затем выполняет хвост тот же файл
alias lastlog='tail $(ls -tr logs/* | tail -1) ; ls -tr logs/* | tail -1; logfile=$(ls -tr logs/* | tail -1)'