Repast: медленная причина инициализации - PullRequest
Новая
       16

Repast: медленная причина инициализации

0 голосов
/ 28 октября 2019

Я обнаружил, что инициализация моей модели очень медленная. Это займет 40 секунд, чтобы закончить!

Мои коды состоят из двух основных частей: 1) для загрузки данных сначала запускается считыватель данных CSV, для завершения которого требуется менее 1 секунды, чтобы закончить чтение и обработку 35 000+ строк (см. Код первой части ниже);2) агент и ребра инициализируются впоследствии. В частности, при инициализации ребер будут использованы загруженные данные в CSV-ридере (см. Код второй части ниже).

Первая часть: CSVReader-код 

public class DataReader {

    private String csvFile;
    private List<String> sub = new ArrayList<String>();
    private List<List> master = new ArrayList<List>();


    public void ReadFromCSV(String csvFile) {

        String line = "";
        String cvsSplitBy = ",";

        try (BufferedReader br = new BufferedReader(new FileReader(csvFile))) {
            System.out.println("Header " + br.readLine());
            while ((line = br.readLine()) != null) {

                // use comma as separator
                String[] list = line.split(cvsSplitBy);
//                System.out.println("the size is " + country[1]);
                for (int i = 0; i < list.length; i++) {
                    sub.add(list[i]);
                }
                List<String> temp = (List<String>) ((ArrayList<String>) sub).clone();
//                master.add(new ArrayList<String>(sub));
                master.add(temp);
                sub.removeAll(sub);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }

        System.out.println(master);
    }

    public List<List> getMaster() {
        return master;
    }

}

Это входной файлиспользуется CSVReader:

enter image description here

Вторая часть: код инициализации ребра (маршрута). Я подозреваю, что это цикл запросов, который занимает большую часть времени для инициализации: 

//      add route network
        Network<Object> net = (Network<Object>)context.getProjection("IntraCity Network");
        IndexedIterable<Object> local_hubs = context.getObjects(LocalHub.class);
        for (int i = 0; i <= CSV_reader_route.getMaster().size() - 1; i++) {
            String source = (String) CSV_reader_route.getMaster().get(i).get(0);
            String target = (String) CSV_reader_route.getMaster().get(i).get(3);
            double dist = Double.parseDouble((String) CSV_reader_route.getMaster().get(i).get(6));
            double time = Double.parseDouble((String) CSV_reader_route.getMaster().get(i).get(7));

            Object source_hub = null;
            Object target_hub = null;
            Query<Object> source_query = new PropertyEquals<Object>(context, "hub_code", source);
            for (Object o : source_query.query()) {
                if (o instanceof LocalHub) {
                    source_hub = (LocalHub) o;
                }
                if (o instanceof GatewayHub) {
                    source_hub = (GatewayHub) o;
                }
            }

            Query<Object> target_query = new PropertyEquals<Object>(context, "hub_code", target);
            for (Object o : target_query.query()) {
                if (o instanceof LocalHub) {
                    target_hub = (LocalHub) o;
                }
                if (o instanceof GatewayHub) {
                    target_hub = (GatewayHub) o;
                }
            }

            if (net.getEdge(source_hub, target_hub) == null) {
                Route this_route = (Route) net.addEdge(source_hub, target_hub);
                context.add(this_route);
                this_route.setDist(dist);
                this_route.setTime(time); }
            }



        }

ОБНОВЛЕНИЕ: согласно моему тесту, я обнаружил, что эта строка значительно замедлит процесс инициализации. 

context.add(this_route);

Без этой строки потребовалось всего 3 секунды, чтобы закончить. С этой линией модель заняла 20 секунд! Каков основной механизм context.add ()? Как решить и улучшить эту проблему?

1 Ответ

3 голосов
/ 28 октября 2019

Когда вы добавляете ребра в контекст, запросы становятся намного более вычислительно дорогими, поскольку пространство поиска в контексте становится больше. Так что, возможно, не добавление ребер к контексту в цикле чтения csv поможет. Вы можете создать ребро, как сейчас, но добавить его в список, а не в контекст. Затем, когда цикл чтения закончен, выполните итерацию по этому списку и добавьте ребра в контекст.

Если это не поможет, то, по крайней мере, мы знаем, что при добавлении к контексту есть дополнительный побочный эффект, который мыможно попытаться отследить.

...