У меня есть сценарий использования для клиента, который должен загружать большие данные из веб-службы отдыха.Этот оставшийся API-интерфейс хорошо масштабируется, и, по-видимому, нет проблем при обработке более 10000+ одновременных запросов.
Моя проблема заключается в том, что мне нужно использовать эту службу одновременно (1000 запросов) и загружать большие данные вкороткое время.
Проблемы:
1) Each request can return about 10-30MB of compressed json data.
2) My machine can't afford to make 1000+ requests on a 8 core 32G machine due to each thread blockking IO function
3) I'm looking for a distributed method to do this.
4) The service does provide pagination but this is very slow
5) I need a synchronous solution
Я пробовал службы AMS и искал что-то вроде hadoop для этого.Несмотря на то, что мой код ищет API-интерфейс для обертывания вокруг этой службы отдыха, чтобы выполнить такую большую нагрузку на данные.