Суммирование массива в скрипте bash не работает

Question

У меня были проблемы с суммированием очень большого массива (миллионы чисел), и я пытался суммировать все значения внутри, но он продолжает давать сбой (давая мне 0 из исходного компонента). Ниже мой код:

Карта. sh

#/bin/bash

file="myfile.csv"
data=`tail -n +2 $file |  cut -d"," -f 4`
data1=()
for i in $data;
do
data1+=($i)
done;
count=${#data1[@]}
export count
export data1
export data
./reduce.sh

уменьшить. sh

#/bin/bash
echo $count
sum=0
for i in "${data1[@]}"; do
        sum = $((sum + $i))
done;
echo $sum

Я попробовал почти все переменные, которые я нашел в Интернете но никто не работает. Я что-то упустил?

пример данных: я смотрю на этот столбец (4):

и он увеличивается на миллионы.

Answer 1

С GNU datamash:

datamash --header-in -t',' sum 4 < myfile.csv

Это строит сумму значений четвертого поля разделенного запятыми входного файла. Строка заголовка пропущена.

Answer 2

Будет ли работать этот awk для вас:

$ awk -F, '       # comma delimiter
FNR>1 {           # skip header record
    sum+=$4       # sum 4th field values to sum var
}
END {             # in the end
    print sum     # output the sum
}' file