В моем коде есть sed -e "s / \ x01 // g".Я заметил, что без него sort -u не удаляет все дублирующиеся значения, но когда я применяю sed -e "s / \ x01 // g", а затем выполняю sort -u, остаются только уникальные значения.Так что мне просто интересно, что делает sed -e "s / \ x01 // g".
Я подозреваю, что есть некоторые невидимые символы, потому что, если я вставлю файл в BBEdit, а затем создам другой файл, то sort -u будет работать как положено.
Спасибо.
cat basel_segment.csv
2019-05-25 123.87
2019-05-26 128.81
2019-05-26 128.81
2019-05-27 131.64
2019-05-27 131.64
2019-05-28 142.41
2019-05-28 142.41
2019-05-29 131.47
2019-05-29 131.47
2019-05-30 140.27
cat basel_segment.csv | sort -u
2019-05-25 123.87
2019-05-26 128.81
2019-05-26 128.81
2019-05-27 131.64
2019-05-27 131.64
2019-05-28 142.41
2019-05-28 142.41
2019-05-29 131.47
2019-05-29 131.47
2019-05-30 140.27
sed -e "s/\x01//g" basel_segment.csv | sort -u
2019-05-25 123.87
2019-05-26 128.81
2019-05-27 131.64
2019-05-28 142.41
2019-05-29 131.47
2019-05-30 140.27