Как удалить лишние двойные кавычки, а не открывать и закрывать двойные кавычки в строке текста, используя скрипт bash - PullRequest
Новая
       33

Как удалить лишние двойные кавычки, а не открывать и закрывать двойные кавычки в строке текста, используя скрипт bash

0 голосов
/ 26 февраля 2020

У меня есть текстовый файл, я хочу скопировать его в файл CSV и после этого скопировать файл CSV в таблицу PostgreSQL.

Мой входной текстовый файл (old_sample.txt), 

SVCOP,"12980","2019"0627","1DEX","LUBE, OIL & FILTER - DEXOS "1"","I","0.4","0.4","15.95","10.80","0.00","0.00","0.00","0.00","0.00","0.00","38.03","30.17","53.98","40.97","FULL SYNTHETIC MOTOR OIL.","LUBE, OIL & FILTER - DEXOS ''1''","91","LANE","LANE","L","LA MERE","125.00","125.00","","0.00","0.00","0","0","0","||||||||||||||||||||||||","N"

Я должен использовать следующий код 

cat old_sample.txt
printf "\n"
echo "____________________________________"
printf "\n"
cat old_sample.txt | sed ': again
s/\("[^",]*\)"\([^",]*"\)/\1\2/g
t again
s/""/"/g'

Вывод 

SVCOP,"12980","2019"0627","1DEX","LUBE, OIL & FILTER - DEXOS "1"","I","0.4","0.4","15.95","10.80","0.00","0.00","0.00","0.00","0.00","0.00","38.03","30.17","53.98","40.97","FULL SYNTHETIC MOTOR OIL.","LUBE, OIL & FILTER - DEXOS ''1''","91","LANE","LANE","L","LA MERE","125.00","125.00","","0.00","0.00","0","0","0","||||||||||||||||||||||||","N"

SVCOP,"12980","20190627","1DEX","LUBE, OIL & FILTER - DEXOS "1","I","0.4","0.4","15.95","10.80","0.00","0.00","0.00","0.00","0.00","0.00","38.03","30.17","53.98","40.97","FULL SYNTHETIC MOTOR OIL.","LUBE, OIL & FILTER - DEXOS ''1''","91","LANE","LANE","L","LA MERE","125.00","125.00",","0.00","0.00","0","0","0","||||||||||||||||||||||||","N"

Проблема "LUBE, OIL & FILTER - DEXOS "1""

"1" эти двойные кавычки, не удаленные из-за запятой, присутствуют внутри двойных кавычек, но "2019" 0627 "это нормально работает, поэтому я хочу удалить все двойные кавычки внутри строки, заключенной в открытые и закрытые двойные кавычки. В противном случае это приведет к ошибке базы данных.

Это мой код 

nl -ba -nln -s, < old_sample.txt | sed ': again
                                      s/\("[^",]*\)"\([^",]*"\)/\1\2/g
                                      t again' | grep 'SVCPTS' > old_sample.csv
psql_local <<SQL || die "Failed to import parts data"
        \copy sample_table from 'old_sample.csv' with (format csv, header false)
SQL

Мой целевой вывод 

SVCOP,"12980","20190627","1DEX","LUBE, OIL & FILTER - DEXOS 1","I","0.4","0.4","15.95","10.80","0.00","0.00","0.00","0.00","0.00","0.00","38.03","30.17","53.98","40.97","FULL SYNTHETIC MOTOR OIL.","LUBE, OIL & FILTER - DEXOS ''1''","91","LANE","LANE","L","LA MERE","125.00","125.00","","0.00","0.00","0","0","0","||||||||||||||||||||||||","N"

Ответы [ 3 ]

0 голосов
/ 27 февраля 2020

Не могли бы вы попробовать следующее: 

while IFS= read -r str; do          # assign a variable "str" to a line
    while true; do                  # infinite loop
        str2=$(sed 's/\([^,]\)"\([^,]\)/\1\2/g' <<< "$str")
        [[ "$str2" = "$str" ]] && break
                                    # if there is no change, exit the loop
        str="$str2"                 # update "str" for next iteration
    done
    echo "$str"
done < "old_sample.txt"

Вывод: 

SVCOP,"12980","20190627","1DEX","LUBE, OIL & FILTER - DEXOS 1","I","0.4","0.4","15.95","10.80","0.00","0.00","0.00","0.00","0.00","0.00","38.03","30.17","53.98","40.97","FULL SYNTHETIC MOTOR OIL.","LUBE, OIL & FILTER - DEXOS ''1''","91","LANE","LANE","L","LA MERE","125.00","125.00","","0.00","0.00","0","0","0","||||||||||||||||||||||||","N"
  • Регулярное выражение \([^,]\)"\([^,]\) соответствует двойной кавычке, которая окружена non символы запятой.
  • Цикл выполняется до тех пор, пока не будут удалены все лишние двойные кавычки.
  • Приведенный выше скрипт будет работать для предоставленного примера, но может быть недостаточно надежным для произвольных входных данных. Рекомендуется представить инструмент, который может анализировать CSV-файлы для получения надежных результатов, как подсказывает chrisputnam 9.

[EDIT] Если в вашем файле есть окончания строк CR + LF, пожалуйста, попробуйте вместо этого: 

while IFS= read -r str; do      # assign a variable "str" to a line
    while true; do              # infinite loop
        str2=$(sed 's/\([^,]\)"\([^,]\)/\1\2/g' <<< "$str")
        [[ "$str2" = "$str" ]] && break
                                # if there is no change, exit the loop
        str="$str2"             # update "str" for next iteration
    done
#   echo "$str"                 # add LF at the end of the output line
    echo -ne "$str\r\n"         # add CR+LF at the end of the output line
done < <(tr -d "\r" < "VehSer_NEWM11_test.txt")
                                # remove CR code

Кстати, если perl - ваш вариант, следующий код будет работать намного быстрее: 

perl -pe '1 while s/([^,])"([^,\r])/$1$2/g' VehSer_NEWM11_test.txt
0 голосов
/ 27 февраля 2020

Не могу сделать это одной командой, поэтому я сделал это 

 $ sed "s/['\"]//g; s/,/\",\"/g; s/\",\" /, /g; s/,,/,\"\",/g; s/$/\"/; s/\"//" file
SVCOP,"12980","20190627","1DEX","LUBE, OIL & FILTER - DEXOS 1","I,0.4","0.4","15.95","10.80","0.00","0.00","0.00","0.00","0.00","0.00","38.03","30.17","53.98","40.97","FULL SYNTHETIC MOTOR OIL.","LUBE, OIL & FILTER - DEXOS 1","91","LANE","LANE","L,LA MERE","125.00","125.00,"",0.00","0.00","0,0","0,||||||||||||||||||||||||","N"

Или это, если вам нужно ''1''

$ sed 's/"//g; s/,/","/g; s/"," /, /g; s/,,/,"",/g; s/$/"/; s/"//' file
SVCOP,"12980","20190627","1DEX","LUBE, OIL & FILTER - DEXOS 1","I","0.4","0.4","15.95","10.80","0.00","0.00","0.00","0.00","0.00","0.00","38.03","30.17","53.98","40.97","FULL SYNTHETIC MOTOR OIL.","LUBE, OIL & FILTER - DEXOS ''1''","91","LANE","LANE","L","LA MERE","125.00","125.00","","0.00","0.00","0","0","0","||||||||||||||||||||||||","N"
0 голосов
/ 26 февраля 2020

Лично, если бы я делал это, я бы обратился к служебной программе. Я думаю, что может быть в состоянии достичь этого, найдя правильный RegEx - но это может оказаться довольно сложным.

Использование чего-то вроде csvkit - в частности, команда csvformat кажется намного проще. Также было бы более надежным, если в будущем вам потребуется повторно использовать этот сценарий с другими данными (которые могут содержать новые строки в некоторых полях или другие ситуации, которые вам, возможно, придется учитывать).

...