Добавление часов ко всем меткам времени в текстовом файле

Question

У меня есть следующий текстовый файл (file.dat):

random text 2019-10-10 20:22:33.456000^ text random 2019-11-30 23:45:56.789000 random
2019-11-11 21:22:33.456000 random stuffs,2019-10-31 23:45:56.789000
random, random 2019-10-10 20:22:33.456000^ text everywhere 2019-12-31 23:45:56.789000

Моя цель - добавить 7 часов к каждой отметке времени ('ГГГГ-ММ-ДД ЧЧ: ММ: СС') в этом текстовый файл.

Требуемый вывод выглядит следующим образом:

random text 2019-10-11 03:22:33.456000^ text random 2019-12-01 06:45:56.789000 random
2019-11-12 04:22:33.456000 random stuffs,2019-11-01 06:45:56.789000
random, random 2019-10-11 03:22:33.456000^ text everywhere 2020-01-01 06:45:56.789000

В настоящее время у меня есть решение для этого, но для текстового файла с 10 000 строк это занимает до 1 минуты. Мой текущий способ выглядит следующим образом:

awk '{ip=$0;while(match(ip,/[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9] [0-9][0-9]:[0-9][0-9]:[0-9][0-9]/,a)){ cmd="date +\"%F %T\" -d \"" a[0] " 7 hours \""; cmd | getline b; close(cmd); sub(a[0],b$0);ip=substr(ip,RSTART+RLENGTH)}; print $0}' file.dat

Это занимает слишком много времени, так как мои текстовые файлы могут содержать до 1 000 000 строк. Кроме того, я еще не проверял, но я думаю, что функция sub может вызвать проблемы.

Поэтому я пытался найти другие варианты:

1. с использованием sed:

   sed "s#([0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2})#$(date -d '\1' +'%F %T')#g" file.dat
   

   Конечно, это не сработало, выдав ошибку invalid date \\1'. Не удивительно, потому что я не ожидал, что обратная ссылка сработает внутри.

2. Использование awk:

   awk '{print gensub(/([0-9][0-9][0-9][0-9])-([0-9][0-9])-([0-9][0-9]) ([0-9][0-9]):([0-9][0-9]):([0-9][0-9])/,strftime("%Y-%m-%d %H:%M:%S",mktime("\\1 \\2 \\3 \\4 \\5 \\6")),"g",$0)}' file.dat
   

   Я надеялся с этим, но вывод был неправильным:

   random text 1970-01-01 06:59:59.456000^ text random 1970-01-01 06:59:59.789000 random
   1970-01-01 06:59:59.456000 random stuffs,1970-01-01 06:59:59.789000
   random, random 1970-01-01 06:59:59.456000^ text everywhere 1970-01-01 06:59:59.789000
   

   Все метки времени стали 1970-01-01 06:59:59, что в основном означает mktime возвращено -1.

Есть ли другие варианты? Подойдет любой эффективный способ (с использованием bash).

Answer 1

Не могли бы вы попробовать следующее.

awk '
{
  line=$0
  while(match($0,/[0-9]+-[0-9]+-[0-9]+ [0-9]+:[0-9]+:[0-9]+/)){
     val=substr($0,RSTART,RLENGTH)
     split(val,array,"[- :.]")
     var=mktime(array[1] " " array[2] " " array[3] " " array[4] " " array[5]" " array[6])+(3600*7)
     new_val=strftime("%Y-%m-%d %H:%M:%S",var)
     $0=substr($0,RSTART+RLENGTH)
     sub(val,new_val,line)
     delete array
     val=var=new_val=""
  }
  print line
  line=""
}
'  Input_file

Вывод будет следующим.

random text 2019-10-11 03:22:33.456000^ text random 2019-12-01 06:45:56.789000 random
2019-11-12 04:22:33.456000 random stuffs,2019-11-01 06:45:56.789000
random, random 2019-10-11 03:22:33.456000^ text everywhere 2020-01-01 06:45:56.789000

Объяснение: Добавление подробного объяснение приведенного выше кода. Пожалуйста, прокрутите немного вправо, чтобы увидеть объяснение:)

awk '                                                                                                 ##Starting awk program.
{
  line=$0                                                                                             ##Creating variable line with current line.
  while(match($0,/[0-9]+-[0-9]+-[0-9]+ [0-9]+:[0-9]+:[0-9]+/)){                                       ##Running a loop till matches found in line.
     val=substr($0,RSTART,RLENGTH)                                                                    ##Creating val whose value is matched sub-string by match func.
     split(val,array,"[- :.]")                                                                        ##Splitting val into array with delimiters - space : and dot.
     var=mktime(array[1] " " array[2] " " array[3] " " array[4] " " array[5]" " array[6])+(3600*7)    ##Changing array values into epoch time adding 3600*7 seconds too
     new_val=strftime("%Y-%m-%d %H:%M:%S",var)                                                        ##Creating variable new_val changing epoch time to date format.
     $0=substr($0,RSTART+RLENGTH)                                                                     ##Resetting current line value to rest of the line, to remove previous matched values from it.
     sub(val,new_val,line)                                                                            ##Substituting val with new_val in line.
     delete array                                                                                     ##Deleting array here.
     val=var=new_val=""                                                                               ##Nullifying all variables here.
  }
  print line                                                                                          ##Printing variable line here.
  line=""                                                                                             ##Nullifying variable line here.
}
'  Input_file                                                                                           ##Mentioning Input_file name here.