У меня есть несколько CSV-файлов, которые достаточно велики (до 130 ГБ). Поскольку мне не нужны данные за 2017 год и обратно, я хочу получить данные с 2018 года и более (только данные до июня 2019 года) и создать новый CSV-файл, чтобы сделать его меньше.
Я пробовал это:
grep "2018-" file.csv | grep "2019-" > file_1819.csv
в настоящее время он ищет только файлы, которые имеют обе отметки времени в одной строке (поэтому в основном комментарии, сделанные в 2018-04-01, заканчиваются в 2019-04-01). Мне это тоже нужно, но то, что мне тоже нужно:
Является ли строка только сделанной 2018-05-01 и без даты истечения срока действия. В настоящее время он не включает это в новый CSV-файл.
Пример будет:
Входной файл
4108,48.74,"2017-09-16 16:15:04"
4249,8.1,"2017-09-16 16:15:04"
4197,3.81,"2017-09-16 17:20:00"
4139,26.81,"2018-09-16 16:15:04"
4218,24.83,"2018-09-16 17:20:00"
4260,79.72,"2018-09-16 16:15:04"
4270,450.12,"2019-09-16 17:20:00"
4242,30.38,"2019-09-16 16:15:04"
4193,1.42,"2019-09-16 16:15:04"
4134,3.77,"2019-09-16 16:15:04
Выходной файл :
4139,26.81,"2018-09-16 16:15:04"
4218,24.83,"2018-09-16 17:20:00"
4260,79.72,"2018-09-16 16:15:04"
4270,450.12,"2019-09-16 17:20:00"
4242,30.38,"2019-09-16 16:15:04"
4193,1.42,"2019-09-16 16:15:04"
4134,3.77,"2019-09-16 16:15:04
Спасибо