Чтение CSV-файла и сохранение данных в Java - PullRequest
0 голосов
/ 12 апреля 2020

У меня есть задача, которая требует от меня прочитать файл CSV в Java. Я прочитал его, но думаю, что храню их не так, как хотел, чтобы я мог получить к ним доступ в более поздних задачах, таких как анализ некоторых данных, построение графика и т. Д. c. Файл CSV содержит несколько переменных в заголовке, и некоторые переменные указаны в числах, а некоторые в алфавитах, что означает, что мне нужно будет хранить их в формате Integer или String.

Обратите внимание, что я не использовал какую-либо библиотеку, например openCSV, для чтения файла, так как я новичок и пытаюсь ознакомиться с основами c Java.

Ниже nycflight13, который я читаю и сохраняю данные. Данная инструкция не должна принимать строки, содержащие слово «NA».

`    public class nycflights13 {

        public static void main(String[] args) {
            // TODO Auto-generated method stub
            List<Flights> NYC13 = readFileFromCSV("flights.csv");

            for(Flights a: NYC13) {
                System.out.println(a);
            }
        }

        public static List<Flights> readFileFromCSV (String fileName){
            List<Flights> flightData = new ArrayList <> (); 
            Path pathToFile = Paths.get(fileName);

            try(BufferedReader br = Files.newBufferedReader(pathToFile,
                    StandardCharsets.US_ASCII)){
                br.readLine();
                String line = br.readLine();

                while (line != null) {
                    String [] variable = line.split(",");

                    //convert string array to list
                    List<String> list = Arrays.asList(variable);
                    if(list.contains("NA")) { //Do not take in rows containing "NA"
                        break;
                    } else {
                        Flights dataset = createFlights(variable);
                        flightData.add(dataset);
                    }
                    line = br.readLine();
                }
            }catch (IOException ioe) {
                ioe.printStackTrace();
            }

            return flightData;
        }



        private static Flights createFlights (String [] metadata) {
            int year = Integer.parseInt(metadata[1]); //convert string into int
            int month = Integer.parseInt(metadata[2]); //convert string into int
            int day = Integer.parseInt(metadata[3]); //convert string into int
            int dep_time = Integer.parseInt(metadata[4]); //convert string into int
            String carrier = metadata[10];
            String flight = metadata[11];
            String origin = metadata[13];
            String dest = metadata[14]; 

            return new Flights(year, month, day, dep_time,carrier, flight, origin, dest);
        }

    }`

Ниже мой class Flights (у меня гораздо больше переменных, чем показано здесь):

class Flights {
        private int year; 
        private int month; 
        private int day; 
        private int dep_time;
        private String carrier; 
        private String flight; 
        private String origin;
        private String dest; 

        public Flights(int year, int month, int day, int dep_time, String carrier, String flight, String String origin, String dest) {
            this.year = year; 
            this.month = month; 
            this.day = day; 
            this.dep_time = dep_time;
            this.carrier = carrier; 
            this.flight = flight; 
            this.origin = origin; 
            this.dest = dest; 
        }

        public int getYear() {return year;}
        public void setYear(int year) {this.year = year;}

        public int getMonth() {return month;}
        public void setMonth(int month) {this.month = month; }

        public int getDay() {return day;}
        public void setDay(int day) {this.day = day; }

        public int getdep_time() {return dep_time;}
        public void setdep_time(int dep_time) {this.dep_time = dep_time; }

        ............
        .............
        ...........


        @Override
        public String toString() {
           return "Flights [year=" + year +", month=" + month +", day=" + day +", dep_time=" + 
               dep_time +
                ", carrier=" + carrier + ", flight=" + flight +", origin=" + origin +", dest=" + dest 
              +", air_time=" + air_time +", distance=" + distance +", 
                 hour=" + hour +", minute=" + minute +
                 ", time_hour=" + time_hour +"]";
`

Приведенный выше код даст мне результат, как показано ниже:

Flights [year=2013, month=1, day=1, dep_time=926, sched_dep_time=929, dep_delay=-3, arr_time=1404, sched_arr_time=1421, arr_delay=-17, carrier="B6", flight=215, tailnum="N775JB", origin="EWR", dest="SJU", air_time=191, distance=1608, hour=9, minute=29, time_hour=2013-01-01 09:00:00]

Flights [year=2013, month=1, day=1, dep_time=926, sched_dep_time=922, dep_delay=4, arr_time=1221, sched_arr_time=1219, arr_delay=2, carrier="B6", flight=57, tailnum="N534JB", origin="JFK", dest="PBI", air_time=151, distance=1028, hour=9, minute=22, time_hour=2013-01-01 09:00:00]

Flights [year=2013, month=1, day=1, dep_time=926, sched_dep_time=928, dep_delay=-2, arr_time=1233, sched_arr_time=1220, arr_delay=13, carrier="UA", flight=1597, tailnum="N27733", origin="EWR", dest="EGE", air_time=287, distance=1726, hour=9, minute=28, time_hour=2013-01-01 09:00:00]

Flights [year=2013, month=1, day=1, dep_time=927, sched_dep_time=930, dep_delay=-3, arr_time=1231, sched_arr_time=1257, arr_delay=-26, carrier="DL", flight=1335, tailnum="N951DL", origin="LGA", dest="RSW", air_time=166, distance=1080, hour=9, minute=30, time_hour=2013-01-01 09:00:00]

У меня есть несколько вопросов:

  1. Мои данные CSV на самом деле содержат более 300 тыс. строк данных, но с кодом, который я построил, как описано выше, мне удается вывести только 280 строк. Это код пошёл не так? или у нас есть верхний предел затмения в печатных строках.

  2. Я хотел бы знать, как я могу получить доступ к определенным переменным из List<Flights>, таким как оператор или месяц, для расчета общего размера оператора или для подсчета частоты месяца .

  3. Как правильно хранить данные с несколькими переменными? и в состоянии получить к ним доступ в другом классе. ИЛИ способы улучшить мой текущий код.

Ценим отзывы и время. Бесконечно благодарен.

1 Ответ

2 голосов
/ 12 апреля 2020

Отвечая на ваши вопросы:

  1. Если вы не получили никаких ошибок или исключений при выполнении кода, вам не о чем беспокоиться. Eclipse имеет размер буфера консоли по умолчанию, который ограничен. См. - https://javarevisited.blogspot.com/2013/03/how-to-increase-console-buffer-size-in.html

  2. Теперь, когда вы прочитали данные, вы должны go вперед и сохранить их в базе данных. Как только у вас есть данные в базе данных, вы можете выполнить все виды запросов, которые вы хотите получить данные, которые удовлетворяют вашим условиям.

  3. Я не понял, что вы подразумеваете под «способами хранения данных с несколько переменных ». Не могли бы вы уточнить?

...