Каков наилучший способ прочитать очень большой CSV-файл и разобрать данные в объекты? - PullRequest
0 голосов
/ 02 апреля 2020

Я делаю некоторый анализ данных, используя несколько очень больших CSV-файлов (один содержит более 2 миллионов строк данных). Как лучше всего быстро прочитать файл и разобрать строки в классы javabean?

Пример класса объекта:

public class Crime {

    private String district;
    private String psa;
    private String dispatchDateTime;
    private String dispatchDate;
    private String dispatchTime;
    private String hour;
    private String dcKey;
    private String locationBlock;
    private String ucrGeneral;
    private String generalCode;
    private String month;
    private String lon;
    private String lat;


    public Crime() {

//        
    }
    public void setDistrict(String district) {
        this.district = district;
    }
   ........
    public String getDispatchDateTime() {
        return dispatchDateTime;
    }
    public String getDispatchDate() {
        return dispatchDate;
    }
}

Пример строки данных:

35,D,2009-07-19 01:09:00,2009-07-19,01:09:00,1,200935061008,5500 BLOCK N 5TH ST,1500,Weapon Violations,20,2009-07,-75.130477,40.036389

1 Ответ

0 голосов
/ 02 апреля 2020

Посмотрите: http://commons.apache.org/proper/commons-csv/

Используйте библиотеку для анализа файла и создания объекта для каждой строки.

...