Разбор больших Jsons от Rest-API

Question

Я сталкиваюсь с проблемой анализа больших json-результатов из конечной точки покоя (asticsearch).

Кроме того, что у конструкции системы есть свои недостатки, мне интересно, есть ли другой способ сделать это?синтаксический анализ.

Ответ покоя содержит объект 10k в массиве Json.Я использую родной Json-Mapper из Elassearch и Jsoniter.Оба испытывают недостаток в производительности и замедляют работу приложения.Продолжительность запроса увеличивается до 10-15 секунд.

Я буду поощрять изменение интерфейса, но большой список результатов останется в течение следующих 6 месяцев.

Может кто-нибудь дать мне советчто нужно сделать, чтобы ускорить работу сasticsearch?

Answer 1

Профиль все.

Медленно ли Elasticsearch генерирует ответ?
Если вы выполняете запрос с помощью Curl, перенаправляете вывод в файл и time it, какая часть времени вашего приложения занимает?

Вы используете его локально? Возможно, вы отбрасываете пакеты / ограничены низкой пропускной способностью по сети.

Является ли снижение производительности чисто расшифровкой ответа? Сколько времени занимает декодирование того же самого большого двоичного объекта JSON с использованием Jsoniter после загрузки в память из статического файла?

Рассматривали ли вы чанкинг своего запроса?
Как насчет того, чтобы выделить его как отдельный процесс и сразу же вернуться к циклу событий?

В вашем вопросе много вариантов и недостаточно подробностей, чтобы дать твердый совет.