Как преобразовать парный список значений ключей в таблицу со столбцами с помощью AWK? - PullRequest
0 голосов
/ 29 июня 2018

Мне нужно преобразовать набор данных из парного списка значений ключей (вывод informix dbaccess) в csv с колонками. Я вполне уверен, что это легко сделать с помощью awk или sed.

ОБНОВЛЕНИЕ Решение должно быть однострочным ответом. Я использую NSH (который основан на ZSH). Так что некоторые из типичных «башых» команд не будут работать.

Вот мой пример набора данных:

part_no            100000001
date_part          2010-10-13 12:12:12
history_code       ABCD
user_id            rsmith
other_information   note: Monday, December 10
pool_no            101011777

part_no            100000002
date_part          2010-10-21 12:12:12
history_code       GHIJ
user_id            jsmith
other_information
pool_no            101011888

part_no            100000002
date_part          2010-10-27 12:12:12
history_code       LMNO
user_id            fevers
other_information   [Mail]
pool_no            101011999

part_no            100000003
date_part          2010-11-13 12:12:12
history_code       QXRT
user_id            sjohnson
other_information   note: Tuesday, August 31
pool_no            101011111

Мне нужно, чтобы это выглядело так:

part_no,date_part,history_code,user_id,other_information,pool_no
100000001,10/13/2010 12:12:12,ABCD,rsmith,note: Monday, December 10,101011777
100000002,10/21/2010 12:12:12,GHIJ,jsmith,,101011888
100000002,10/27/2010 12:12:12,LMNO,fevers,[Mail],101011999
100000003,11/13/2010 12:12:12,QXRT,sjohnson,note: Tuesday, August 31,101011111

Ответы [ 5 ]

0 голосов
/ 30 июня 2018

Я рассматриваю это как вопрос Informix, а не как вопрос Awk.

Используя стандартные команды Informix SQL, вы можете создать внешнюю таблицу также в формате CSV - но вы должны знать, что существует недокументированный формат "DB2", который вы можете использовать:

DROP TABLE IF EXISTS data_table;

CREATE TABLE data_table
(
        part_no            INTEGER,
        date_part          DATETIME YEAR TO SECOND,
        history_code       VARCHAR(4),
        user_id            VARCHAR(32),
        other_information  VARCHAR(64),
        pool_no            INTEGER
);

INSERT INTO data_table VALUES(100000001, "2010-10-13 12:12:12", "ABCD", "rsmith", "note: Monday, December 10", 101011777);
INSERT INTO data_table VALUES(100000002, "2010-10-21 12:12:12", "GHIJ", "jsmith", NULL, 101011888);
INSERT INTO data_table VALUES(100000002, "2010-10-27 12:12:12", "LMNO", "fevers", "[Mail]", 101011999);
INSERT INTO data_table VALUES(100000003, "2010-11-13 12:12:12", "QXRT", "sjohnson", "note: Tuesday, August 31", 101011111);

DROP TABLE IF EXISTS csv_data;
CREATE EXTERNAL TABLE csv_data
(
    part_no            INTEGER,
    date_part          DATETIME YEAR TO SECOND,
    history_code       VARCHAR(4),
    user_id            VARCHAR(32),
    other_information  VARCHAR(64),
    pool_no            INTEGER
)
USING (FORMAT "DB2", DELIMITER ",", DATAFILES("DISK:/tmp/data/csv_data.csv"));

INSERT INTO csv_data
        SELECT part_no, date_part, history_code, user_id, other_information, pool_no
          FROM data_table;

Содержимое /tmp/data/csv_data.csv выглядит следующим образом:

100000001,2010-10-13 12:12:12,"ABCD","rsmith","note: Monday, December 10",101011777
100000002,2010-10-21 12:12:12,"GHIJ","jsmith",,101011888
100000002,2010-10-27 12:12:12,"LMNO","fevers","[Mail]",101011999
100000003,2010-11-13 12:12:12,"QXRT","sjohnson","note: Tuesday, August 31",101011111

формат UNLOAD, преобразованный в CSV

Вывод по умолчанию из DB-Access практически не поддается анализу на практике. Это может быть выполнимо в некоторых ограниченных случаях, таких как тот, который вы показываете, но вам лучше использовать формат UNLOAD вместо вывода командной строки, а затем преобразовать формат данных UNLOAD в CSV.

У меня есть Perl-скрипт, который это делает. Он использует модуль Perl Text :: CSV для обработки форматирования CSV. Он не претендует на обработку первой строки с именами столбцов; их нет в файле формата UNLOAD.

#!/usr/bin/env perl
#
# @(#)$Id: unl2csv.pl,v 1.3 2018/06/29 20:36:58 jleffler Exp $
#
# Convert Informix UNLOAD format to CSV

use strict;
use warnings;
use Text::CSV;
use IO::Wrap;

my $csv = new Text::CSV({ binary => 1 }) or die "Failed to create CSV handle ($!)";
my $dlm = defined $ENV{DBDELIMITER} ? $ENV{DBDELIMITER} : "|";
my $out = wraphandle(\*STDOUT);
my $rgx = qr/((?:[^$dlm]|(?:\\.))*)$dlm/sm;

# $csv->eol("\r\n");

while (my $line = <>)
{
    print "1: $line";
    MultiLine:
    while ($line eq "\\\n" || $line =~ m/[^\\](?:\\\\)*\\$/)
    {
        my $extra = <>;
        last MultiLine unless defined $extra;
        $line .= $extra;
    }
    my @fields = split_unload($line);
    $csv->print($out, \@fields);
}

sub split_unload
{
    my($line) = @_;
    my @fields;
    print "$line";

    while ($line =~ $rgx)
    {
        printf "%d: %s\n", scalar(@fields), $1;
        push @fields, $1;
    }
    return @fields;
}

__END__

=head1 NAME

unl2csv - Convert Informix UNLOAD to CSV format

=head1 SYNOPSIS

unl2csv [file ...]

=head1 DESCRIPTION

The unl2csv program converts a file from Informix UNLOAD file format to
the corresponding CSV (comma separated values) format.

The input delimiter is determined by the environment variable
DBDELIMITER, and defaults to the pipe symbol "|".
It is not assumed that each input line is terminated with a delimiter
(there are two variants of the UNLOAD format, one with and one without
the final delimiter).

=head1 EXAMPLES

Input:

  10|12|excessive|cost \|of, living|
  20|40|bou\\ncing tigger|grrrrrrrr|

Output:

  10,12,"excessive","cost |of, living"
  20,40,"bou\ncing tigger",grrrrrrrr

=head1 PRE-REQUISITES

Text::CSV_XS

=head1 AUTHOR

Jonathan Leffler <jonathan.leffler@hcl.com>

=cut

Вы будете использовать такую ​​команду (через DB-Access):

UNLOAD TO "datatable.unl" SELECT * FROM DataTable;

и затем выполните:

perl unl2csv datatable.unl > datatable.csv

Программа SQLCMD

Если у вас есть моя программа SQLCMD (доступна с веб-сайта IIUG в репозитории программного обеспечения - и совершенно не связана с johnny-come-недавно Microsoft с тем же именем), вы можете выгрузить ее напрямую в CSV формат:

sqlcmd -d database -F csv -e 'unload to "data_table.csv" select * from data_table'
0 голосов
/ 29 июня 2018

Я знаю, что ОП сказал awk, но Баш просто сидел там.

#
# line to be printed
line=""

#
# first value on a line flag
first=""

#
# read the file
while read key val; do
    #
    # if key is empty then the input line is empty.
    if [ "$key" = "" ] ; then
        #
        # skip leading blank lines in the file
        if [ "$line" = "" ] ; then
            continue
        else
            #
            # print and reset the line
            echo $line
            line=""
            first=""
        fi
    else
        #
        # place the first comma after the first value
        if [ "$first" = "" ] ; then
            line="\"$val\""
            first="1"
        else
            line="$line,\"$val\""
        fi
    fi
done < file.txt

#
# print the last line, if there is one
if [ "$line" != "" ] ; then
    echo $line
fi
0 голосов
/ 29 июня 2018

Ваш вопрос не ясен, но это МОЖЕТ быть тем, что вы ищете:

$ cat tst.awk
BEGIN { RS=""; FS="\n"; OFS=","; ofmt="\"%s\"%s" }
{
   for (i=1; i<=NF; i++) {
       tag = val = $i
       sub(/[[:space:]].*/,"",tag)
       sub(/[^[:space:]]+[[:space:]]+/,"",val)
       tags[i] = tag
       vals[i] = val
    }
}
NR==1 {
    for (i=1; i<=NF; i++) {
        printf ofmt, tags[i], (i<NF ? OFS : ORS)
    }
}
{
    for (i=1; i<=NF; i++) {
        printf ofmt, vals[i], (i<NF ? OFS : ORS)
    }
}

$ awk -f tst.awk file
"part_no","date_part","history_code","user_id","other_information","pool_no"
"100000001","2010-10-13 12:12:12","ABCD","rsmith","note: Monday, December 10","101011777"
"100000002","2010-10-21 12:12:12","GHIJ","jsmith","other_information","101011888"
"100000002","2010-10-27 12:12:12","LMNO","fevers","[Mail]","101011999"
"100000003","2010-11-13 12:12:12","QXRT","sjohnson","note: Tuesday, August 31","101011111"
0 голосов
/ 29 июня 2018

Не могли бы вы попробовать и дайте мне знать, если это поможет вам.

awk -v s1="," '/part_no/ && value{if(header){print header;flag=1;header=""};print value;value=""}  NF{if(!flag){header=(header?header s1 "":"")$1};sub(/^[^[:space:]]+[[:space:]]+/,"");value=value?value s1 $0:$0} END{if(value){print value}}'  Input_file

Вывод будет следующим.

part_no,date_part,history_code,user_id,other_information,pool_no
100000001,2010-10-13 12:12:12,ABCD,rsmith,note: Monday, December 10,101011777
100000002,2010-10-21 12:12:12,GHIJ,jsmith,,101011888
100000002,2010-10-27 12:12:12,LMNO,fevers,[Mail],101011999
100000003,2010-11-13 12:12:12,QXRT,sjohnson,note: Tuesday, August 31,101011111

Теперь добавляем не-лайнерную форму решения.

awk -v s1="," '
/part_no/ && value{
  if(header){
    print header;
    flag=1;
    header=""}
  print value;
  value=""
}
NF{
  if(!flag){
    header=(header?header s1 "":"")$1}
  sub(/^[^[:space:]]+[[:space:]]+/,"")
  value=value?value s1 $0:$0
}
END{
  if(value){
    print value}
}'   Input_file
0 голосов
/ 29 июня 2018

Попробуйте это:

cat $file | cut -d ' ' -f 2- | sed 's/^[ \t]*//' | sed 's/$/,/' \
| xargs  | sed 's/ , /\n/g' | sed 's/.$//' | sed 's/, /,/g' \
| sed '1ipart_no,date_part,history_code,user_id,other_information,pool_no'
...