Извлечение конкретных данных из файла большого дампа CSV - PullRequest
2 голосов
/ 12 июня 2019

У меня есть большие данные, более 1 миллиона записей в формате CSV, содержат информацию о пользователях из моей компании. Я использовал Recsv Editor для удаления лишних столбцов из файла. Теперь у меня есть следующие столбцы

ID    NAME    EMAIL        SUB_STATUS   SUB_DATE      SMS_RECEIVED  MEMBER
1     John    abc@abc.com  true         01.01.2018    true          true
2     David   abc@abc.com  false        01.01.2018    true          true
3     Raza    abc@abc.com  true         01.01.2018    true          false
4     Syed    abc@abc.com  false        01.01.2018    false         false
5     Eidi    abc@abc.com  true         01.01.2018    false         false

У меня более 1 миллиона записей, но мне нужно извлечь из него данные на основе конкретных условий, например, вот пример логики

Extract all users which SUB_STATUS=true and SMS_RECEIVED=false and MEMBER=true OR
SUB_STATUS=false and SMS_RECEIVED=false and MEMBER=false

И тогда я могу получить выходные данные в формате CSV на основе приведенных выше условий примера.

Как мне это заархивировать? Я пользователь Windows, пробовал PowerShell, Recsveditior. Файл слишком большой, его нельзя открыть в Excel.

...