Я ищу общий совет или помощь из опыта.
Я собираюсь написать код для использования REST API с использованием HTTP-запросов GET. Я буду делать большое количество запросов (может быть> 1000 запросов за 5 минут), а после запросов я буду вставлять данные ответов в базу данных. На первый взгляд, это выглядит легко для меня, то, что я должен сделать, это перебрать параметры запроса, а затем создать HttpClient для отправки запроса. Поскольку мне не особо важна последовательность запросов (каждый запрос независим).
Но меня что-то беспокоит, во-первых, я хочу, чтобы каждый запрос был контролируемым процессом - в случае сбоя он будет записан в базу данных (повторная попытка не требуется немедленно). Я предполагаю, что это не будет действительно сложно, я могу сделать это, я думаю, у меня просто нет отличного дизайна. Вторым является HttpClient, учитывая, что мне нужно отправить много запросов в короткий промежуток времени. Должен ли я использовать синглтон HttpClient? Должен ли я создать пул (и как бы я это сделал?) Или есть какой-то фреймворк, который я мог бы использовать вместо этого?