Эликсир: как правильно извлекать внешний API в отдельных процессах

Question

Я хочу получить данные из внешнего API: это аналогичный запрос, когда изменяется только один параметр (страница).Я хотел бы получить его параллельно обрабатывать, но собирать данные в одном месте.Как правильно сделать это в эликсире?Я провел некоторое исследование и пока имею только одно решение: используйте Agent для сохранения данных из вызовов API и Task для API вызовов.

Answer 1

Task.async_stream может соответствовать вашим потребностям.

(1..10) 
|> Task.async_stream(fn n -> get_page(n) end, max_concurrency: 10, timeout: 30_000, ordered: true)
|> Stream.map(fn {:ok, data} -> data end)
|> Enum.to_list()