Разобрать файл CSV, извлекая некоторые значения, но не все - PullRequest
Новая
       21

Разобрать файл CSV, извлекая некоторые значения, но не все

0 голосов
/ 19 мая 2010

Добрый день,

У меня есть локальный файл CSV со значениями, которые меняются ежедневно, называется DailyValues.csv
Мне нужно извлечь значение поля категории 2 и категории 4.
Затем объедините, отсортируйте и удалите дубликаты (если есть) из извлеченных значений.
Затем сохраните его в новом локальном файле NewValues.txt.

Вот пример файла DailyValues.csv: 

category,date,value  
category1,2010-05-18,value01  
category1,2010-05-18,value02  
category1,2010-05-18,value03  
category1,2010-05-18,value04  
category1,2010-05-18,value05  
category1,2010-05-18,value06  
category1,2010-05-18,value07  
category2,2010-05-18,value08  
category2,2010-05-18,value09  
category2,2010-05-18,value10  
category2,2010-05-18,value11  
category2,2010-05-18,value12  
category2,2010-05-18,value13  
category2,2010-05-18,value14  
category2,2010-05-18,value30  
category3,2010-05-18,value16  
category3,2010-05-18,value17  
category3,2010-05-18,value18  
category3,2010-05-18,value19  
category3,2010-05-18,value20  
category3,2010-05-18,value21  
category3,2010-05-18,value22  
category3,2010-05-18,value23  
category3,2010-05-18,value24  
category4,2010-05-18,value25  
category4,2010-05-18,value26  
category4,2010-05-18,value10  
category4,2010-05-18,value28  
category4,2010-05-18,value11  
category4,2010-05-18,value30  
category2,2010-05-18,value31  
category2,2010-05-18,value32  
category2,2010-05-18,value33  
category2,2010-05-18,value34  
category2,2010-05-18,value35  
category2,2010-05-18,value07

Я нашел несколько полезных примеров анализа в http://www.php.net/manual/en/function.fgetcsv.php и сумел извлечь все значения столбца значений, но не знаю, как его ограничить, чтобы извлечь только значения категории 2/4, а затем отсортировать убрать дубликат.

Решение должно быть в php, perl или shell-скрипте.

Любая помощь будет высоко ценится.
Заранее спасибо.

1 Ответ

0 голосов
/ 19 мая 2010

Вот решение сценария оболочки. 

egrep 'category4|category2' input.file | cut -d"," -f1,3 | sort -u > output.file

Я использовал команду cut только для того, чтобы показать вам, что вы можете извлечь только определенные столбцы, поскольку переключатель f для вырезания выбирает, какие столбцы вы хотите извлечь.

Переключатель u для сортировки делает вывод уникальным.

Edit: Важно, чтобы вы использовали egrep, а не grep, поскольку grep использует несколько ограниченный набор регулярных выражений, а у egrep есть несколько дополнительных возможностей

Редактировать (для людей, у которых есть только grep): 

grep 'category2' input.file > temp.file && grep 'category4' input.file >> temp.file && cut temp.file -d"," -f1,3 | sort -u > output.file && rm temp.file

Это производит довольно накладные расходы, но все еще работает ...

...