вызов API REST из пакета - PullRequest
       102

вызов API REST из пакета

0 голосов
/ 14 апреля 2020

У меня есть требование вызвать REST API, чтобы получить некоторую информацию для записи через пакетное задание. Для этого API будет слишком много вызовов, так как пакетное задание состоит из миллионов записей, и вызов REST API для каждой записи через многопоточный пакет не подходит мне, так как это может привести к перегрузке веб-сервера (хотя существует несколько случаев веб-сервер есть). Есть ли шаблон дизайна для этого варианта использования? Могу ли я вызывать REST API порциями, например, по 1 Кбайт? Спасибо

1 Ответ

0 голосов
/ 16 апреля 2020

Из предоставленной вами информации я могу понять, что ваш API для отдыха, основанный на пакетах, предоставляет огромную информацию (возможно, из базы данных), и у вас есть миллионы запросов, поступающих .... Для этого Типичный сценарий, вам необходимо реализовать некоторые потоковые технологии здесь. Значит, что-то вроде Apache Кафка (Hazelcast - это экономически эффективная альтернатива). То, как вы в настоящее время справляетесь с этим, просто выпуская задания и реализуя асинхронные / многопоточные реализации, может помочь вам или может хорошо выглядеть на локальных машинах или просто тестировать сценарии / среды. Если вы хотите иметь правильную, стабильную и надежную архитектуру, то вам нужно go внедрить некоторую потоковую технологию, которая поможет вам правильно распределить запросы и ответы для огромного объема данных. Иначе это будет беспорядок в производстве. Потоковая передача должна быть реализована там, где вы обрабатываете объемные данные. Здесь я не могу точно указать, где вы можете это сделать, поскольку я не знаю архитектуру. Если вам нужна дополнительная помощь, вы можете опубликовать более подробную информацию, например, какие API участвуют в запросах и ответах, какой API отвечает за взаимодействие с пользователем и источником данных и т. Д. c.

...