gzip уже имеет неизменный суффикс gz в скрипте

Question

Я создал скрипт для архивирования и перемещения файлов журналов из одного каталога в другой каталог на свободное место. Это скрипт:

#!/bin/bash

logsDirectory="/test//logs/" 
email="" 
backupDirectory="/test/backup" 
pid="/data/test/scripts/backup.pid"
usage=$(df | grep /data/logs | awk '{ print $2 }') 
space=450000000

getBackup () 
{ 
if [[ ! -e $pid ]] then
            if [[ $usage -le $space ]]
                    then
                    touch $pid
                    find $backupDirectory -mtime +15 -type f  -delete;
                    for i in $(find $logsDirectory -type f -not -path "*/irws/*")
                            do
                                    /sbin/fuser $i > /dev/null 2>&1
                                    if [ $? -ne 0 ]
                                    then
                                            gzip  $i
                                            mv -v $i.gz $backupDirectory
                                    else
                                            continue
                                    fi
                            done
                    [[ ! -z $email ]] && echo "Backup is ready" | mas"Backup" $email
                    rm -f $pid
            fi 
fi 
} 
getBackup

Я получаю эту ошибку:

gzip: /data/logs/log01.log.gz already has .gz suffix -- unchanged
mv: cannot stat `/data/logs/log01.log.gz': No such file or directory

Я получал сообщение об ошибке каждый раз, когда запускал скрипт в средах DEV и PROD (CentOS-серверы). Чтобы проанализировать его, я запустил тот же сценарий на виртуальной машине (Ubuntu) на своем ноутбуке, и там не появляется ошибка.

Мои вопросы:

1. Как я могу предотвратить эту ошибку?
2. Что я сделал не так в скрипте?

Answer 1

Ваш скрипт содержит ряд неуклюжих или неэффективных антипаттернов. Вот рефакторинг. Единственное реальное изменение - это пропуск любых *.gz файлов.

#!/bin/bash

logsDirectory="/test//logs/" 
email="" 
backupDirectory="/test/backup" 
pid="/data/test/scripts/backup.pid"
# Avoid useless use of grep -- awk knows how to match a regex
# Better still run df /data/logs
usage=$(df /data/logs/ | awk '{ print $2 }') 
space=450000000

getBackup () 
{
    # Quote variables
    if [[ ! -e "$pid" ]]; then
        if [[ "$usage" -le "$space" ]]; then
            touch "$pid"
            find "$backupDirectory" -mtime +15 -type f  -delete;
            # Exclude *.gz files
            # This is still not robust against file names with spaces or wildcards in their names
            for i in $(find "$logsDirectory" -type f -not -path "*/irws/*" -not -name '*.gz')
            do
                # Avoid useless use of $?
                if /sbin/fuser "$i" > /dev/null 2>&1
                then
                        gzip  "$i"
                        mv -v "$i.gz" "$backupDirectory"
                # no need for do-nothing else
                fi
            done
            [[ ! -z "$email" ]] &&
            echo "Backup is ready" | mas"Backup" "$email"
            rm -f "$pid"
        fi
    fi
}
getBackup

При немного более навязчивом рефакторинге правильное исправление цикла find может выглядеть примерно так:

            find "$logsDirectory" -type f \
              -not -path "*/irws/*" -not -name '*.gz' \
              -exec sh -c '
                for i; do
                    if /sbin/fuser "$i" > /dev/null 2>&1
                    then
                        gzip  "$i"
                        mv -v "$i.gz" "$backupDirectory"
                    fi
                done' _ {} +

где секретный соус состоит в том, чтобы find ... -exec + передавал аргументы скрипту sh -c таким образом, чтобы вообще не включать в себя аргументы текущей оболочки.

Answer 2

Что я сделал не так в скрипте?

Ваш скрипт пытается заархивировать каждый файл, но команда gzip отклоняет файлы, уже заархивированные

Как я могу предотвратить эту ошибку?

Пусть скрипт проверит, был ли файл заархивирован или нет, и только gzip, если он соответствует (1). Кроме того, вы можете принудительно выполнить повторное сжатие, даже если оно уже сжато (2).

Переход с опцией № 1):

getBackup () 
{ 
  if [[ ! -e $pid ]] then
    if [[ $usage -le $space ]]
    then
      touch $pid
      find $backupDirectory -mtime +15 -type f  -delete;
      for i in $(find $logsDirectory -type f -not -path "*/irws/*")
      do
        /sbin/fuser $i > /dev/null 2>&1
        if [ $? -ne 0 ]
        then
          if [[ $i =~ \.gz$ ]]
            # File is already zipped
            mv -v $i $backupDirectory
          else
            gzip  $i
            mv -v $i.gz $backupDirectory
          fi
        else
          continue
        fi
      done
      [[ ! -z $email ]] && echo "Backup is ready" | mas"Backup" $email
      rm -f $pid
    fi 
  fi 
}