Как я могу прочитать данные из файла JSON с высокой эффективностью в Java с Джексоном?

Question

Я храню все статические данные в файле JSON.Этот JSON файл имеет до 1000 строк.Как получить нужные данные, не сохраняя все строки как ArrayList?

Мой код, который я сейчас использую, и хочу повысить его эффективность.

List<Colors> colorsList = new ObjectMapper().readValue(resource.getFile(), new TypeReference<Colors>() {});
    for(int i=0; i<colorsList.size(); i++){
        if(colorsList.get(i).getColor.equals("Blue")){
            return colorsList.get(i).getCode();
        }
    }

Возможно ли это?Моя цель - повысить эффективность без использования ArrayList.Есть ли способ сделать такой код?

Colors colors = new ObjectMapper().readValue(..."Blue"...);  
return colors.getCode();

Resource.json

[
...
  {
    "color":"Blue",
    "code":["012","0324","15478","7412"]
  },
  {
    "color":"Red",
    "code":["145","001","1","7879","123984","89"]
  },
  {
    "color":"White",
    "code":["7","11","89","404"]
  }
...
]

Colors.java

class Colors {

    private String color;
    private List<String> code;

    public Colors() {
    }

    public String getColor() {
        return color;
    }

    public void setColor(String color) {
        this.color = color;
    }

    public List<String> getCode() {
        return code;
    }

    public void setCode(List<String> code) {
        this.code = code;
    }

    @Override
    public String toString() {
        return "Colors{" +
                "color='" + color + '\'' +
                ", code=" + code +
                '}';
    }
}

Answer 1

Вы можете использовать DSM stream библиотека синтаксического анализа для памяти, эффективности процессора и быстрая разработка .DSM использует файл на основе YAML и считывает целые данные только один раз .

Вот решение вашего вопроса:

Файл сопоставления:

params:
   colorsToFilter: ['Blue','Red']  # parameteres can be passed programmatically
result:
   type: array
   path: /.*colors  # path is regex
   filter: params.colorsToFilter.contains(self.data.color)  # select only color that exist in colorsToFilter list
   fields:
      color: 
      code:
         type: array

Использование DSM для анализа json:

DSM dsm = new DSMBuilder(new File("path/maping.yaml")).create(Colors.class);
List<Colors> object = (List<Colors>) dsm.toObject(jsonData);

System.out.println(object);

Вывод:

[Colors{color='Blue', code=[012, 0324, 15478, 7412]}, Colors{color='Red', code=[145, 001, 1, 7879, 123984, 89]}]

Answer 2

Создание POJO классов в этом случае - пустая трата времени, потому что мы используем не весь результат List<Colors>, а только одно внутреннее свойство.Чтобы избежать этого, мы можем использовать собственные типы данных JsonNode и ArrayNode.Мы можем прочитать JSON, используя метод readTree, выполнить итерацию по массиву, найти заданный объект и, наконец, преобразовать внутренний массив code.Это может выглядеть следующим образом:

import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.node.ArrayNode;

import java.io.File;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

public class JsonApp {

    public static void main(String[] args) throws Exception {
        File jsonFile = new File("./resource/test.json").getAbsoluteFile();

        ObjectMapper mapper = new ObjectMapper();

        ArrayNode rootArray = (ArrayNode) mapper.readTree(jsonFile);
        int size = rootArray.size();

        for (int i = 0; i < size; i++) {
            JsonNode jsonNode = rootArray.get(i);
            if (jsonNode.get("color").asText().equals("Blue")) {
                Iterator<JsonNode> codesIterator = jsonNode.get("code").elements();
                List<String> codes = new ArrayList<>();
                codesIterator.forEachRemaining(n -> codes.add(n.asText()));

                System.out.println(codes);
                break;
            }
        }
    }
}

Над отпечатками кода:

[012, 0324, 15478, 7412]

Недостатком этого решения является то, что мы загружаем все JSON в память, что может быть проблемой для нас.Давайте попробуем использовать Streaming API для этого.Его немного сложно использовать, и вы должны знать, как создается ваша полезная нагрузка JSON, но это самый быстрый способ получить массив code с использованием Jackson.Приведенная ниже реализация наивна и не обрабатывает все возможности, поэтому на нее не следует полагаться:

import com.fasterxml.jackson.core.JsonFactory;
import com.fasterxml.jackson.core.JsonParser;
import com.fasterxml.jackson.core.JsonToken;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;

public class JsonApp {

    public static void main(String[] args) throws Exception {
        File jsonFile = new File("./resource/test.json").getAbsoluteFile();

        System.out.println(getBlueCodes(jsonFile));
    }

    private static List<String> getBlueCodes(File jsonFile) throws IOException {
        try (JsonParser parser = new JsonFactory().createParser(jsonFile)) {
            while (parser.nextToken() != JsonToken.END_OBJECT) {
                String fieldName = parser.getCurrentName();
                // Find color property
                if ("color".equals(fieldName)) {
                    parser.nextToken();
                    // Find Blue color
                    if (parser.getText().equals("Blue")) {
                        // skip everything until start of the array
                        while (parser.nextToken() != JsonToken.START_ARRAY) ;

                        List<String> codes = new ArrayList<>();
                        while (parser.nextToken() != JsonToken.END_ARRAY) {
                            codes.add(parser.getText());
                        }
                        return codes;
                    } else {
                        // skip current object because it is not `Blue`
                        while (parser.nextToken() != JsonToken.END_OBJECT) ;
                    }
                }
            }
        }

        return Collections.emptyList();
    }
}

Надпечатки кода выше:

[012, 0324, 15478, 7412]

В конце мне нужно упомянуть о JsonPath решение, которое также может быть хорошим, если вы можете использовать другую библиотеку:

import com.jayway.jsonpath.JsonPath;
import net.minidev.json.JSONArray;

import java.io.File;
import java.util.List;
import java.util.stream.Collectors;

public class JsonPathApp {
    public static void main(String[] args) throws Exception {
        File jsonFile = new File("./resource/test.json").getAbsoluteFile();

        JSONArray array = JsonPath.read(jsonFile, "$[?(@.color == 'Blue')].code");
        JSONArray jsonCodes = (JSONArray)array.get(0);
        List<String> codes = jsonCodes.stream()
                .map(Object::toString).collect(Collectors.toList());

        System.out.println(codes);
    }
}

Над отпечатками кода:

[012, 0324, 15478, 7412]