как разделить файлы из файла error.log сервера apache при непрерывном чтении файла? - PullRequest
Новая
       15

как разделить файлы из файла error.log сервера apache при непрерывном чтении файла?

0 голосов
/ 03 ноября 2010

Я так и сделал, но у меня возникли проблемы с написанным мною сценарием.Я запутался в функциональности хвостовой команды, а также, когда я вижу вывод error.log на терминале, он показывает строки с 'e', ​​удаленным из слов.

Я написал так, пожалуйста, подскажите, как мне решить мою проблему.Я хочу читать этот файл error.log построчно, а во время чтения строк я хочу разделить фиксированное количество строк на небольшие файлы с суффиксом, например, log-aa, log-ab, ... Я сделал это с помощью команды split.После разбиения я хочу отфильтровать строки с GET или POST словом в них с помощью регулярных выражений и сохранить эти отфильтрованные строки в новый файл.После того, как это хранилище будет завершено, мне нужно удалить все эти файлы журнала *.

Я написал так: 

enter code here
processLine(){
  line="$@"
  echo $line
  $ tail -f $FILE
}
FILE="/var/log/apache2/error.log"
if [ "$1" == "/var/log/apache2/error.log" ]; then
   FILE="/dev/stdin"
else
   FILE="$1"
   if [ ! -f $FILE ]; then
   echo "$FILE : does not exists"
   exit 1
   elif [ ! -r $FILE ]; then
   echo "$FILE: can not read"
   exit 2
   fi
fi
#BAKIFS=$IFS
#IFS=$(echo -en "\n\b")
exec 3<&0
exec 0<"$FILE"
#sed -e 's/\[debug\].*\(data\-HEAP\)\:\/-->/g' error.log > /var/log/apache2/error.log.1
while read -r line
do
 processLine $line
done
exec 0<&3
IFS=$BAKIFS
logfile="/var/log/apache2/error.log"
pattern="bytes"
# read each new line as it gets written
# to the log file
#tail -1 $logfile 
tail -fn0 $logfile | while read line ; do
# check each line against our pattern
echo "$line" | grep -i "$pattern" 
#sed -e 's/\[debug\].*\(data\-HEAP\)\:/-->/g' error.log >/var/log/apache2/error.log
split -l 1000 error.log log-  
FILE2="/var/log/apache2/log-*"
if [ "$1" == "/var/log/apache2/log-*" ]; then
   FILE2="/dev/stdin"
else
   FILE2="$1"
   if [ ! -f $FILE2 ]; then
   echo "$FILE : does not exists"
   exit 1
   elif [ ! -r $FILE2 ]; then
   echo "$FILE: can not read"
   exit 2
   fi
fi
BAKIFS=$IFS
IFS=$(echo -en "\n\b")
exec 3<&0
exec 0<"$FILE2"
while read -r line
do
 processLine $line
 echo $line >>/var/log/apache2/url.txt
done
exec 0<&3
IFS=$BAKIFS
find . -name "var/log/apache2/logs/log-*.*" -delete
done
exit 0

Приведенный ниже код удаляет файлы после чтения и разбиения error.log, нокогда я добавляю tail -f $ FILE, он останавливает удаление файлов. Я хочу удалить log- * файлы после того, как он достигнет последней строки файла error.log: введите код здесь 

processLine(){
line="$@" 
echo $line
}
FILE=""
if [ "$1" == "" ]; then
FILE="/dev/stdin"
else
FILE="$1"
# make sure file exist and readable
if [ ! -f $FILE ]; then
echo "$FILE : does not exists"
exit 1
elif [ ! -r $FILE ]; then
echo "$FILE: can not read"
exit 2                                     
fi
fi
#BAKIFS=$IFS
#IFS=$(echo -en "\n\b")
exec 3<&0
exec 0<"$FILE"
while read -r line
do
processLine $line
split -l 1000 error.log log-
cat log-?? | grep "GET\|POST" > storefile 
#tail -f $FILE
done 
rm log-??
exec 0<&3 
#IFS=$BAKIFS
exit 0

1 Ответ

0 голосов
/ 04 ноября 2010

Ваш код кажется излишне длинным и сложным, а логика неясной.Нельзя было позволять расти этому большому без правильной работы.

Учтите это: 

split -l 1000 error.log log-
cat log-?? | grep "GET\|POST" > storefile
rm log-??

Поэкспериментируйте с этим.Если эти три команды выполняют то, что вы ожидаете, вы можете добавить больше функциональности (например, использование путей, проверка существования error.log), но не добавляйте код, пока у вас не заработает эта часть.

...