Как сделать несколько вызовов API с задержкой между каждым - PullRequest
Новая
       93

Как сделать несколько вызовов API с задержкой между каждым

0 голосов
/ 03 мая 2020

Моей целью было сделать несколько вызовов API для получения списка данных. Допустим, у меня был следующий код 

const  axios = require('axios');

const  axiosRequests = [];
const strings = ['a', 'b', 'c'];
for (let  str  of  strings) {
    axiosRequests.push(axios.get(`https://www.apiexample.com/get/?cfg=json&value=${str}`))
}

Самым простым решением было применить следующее: 

let  responseArray;
try {
    responseArray = await  Promise.all(axiosRequests);
} catch (err) {
    console.log(err);
}

responseArray.map(response  => {
    //make something with the response
{

Но проблема, с которой я столкнулся из API, заключалась в статусе ответа HTTP 429 Too Many Requests код, который означает, что API ограничивает количество запросов в течение определенного периода времени.

Я хочу добавить задержку между каждым запросом.

Как я могу это сделать?

Ответы [ 3 ]

0 голосов
/ 03 мая 2020

Go просто. Введите задержку в каждом запросе в вашем l oop. 

for (const [i, v] of ['a', 'b', 'c'].entries()) {
   setTimeout(()=>{
      axiosRequests.push(axios.get(`https://www.apiexample.com/get/?cfg=json&value=${str}`))}, 
      i * 100)
}
0 голосов
/ 03 мая 2020

Существует множество стратегий для обработки слишком большого количества запросов, и какая стратегия обеспечивает вам лучшую пропускную способность без учета ограничения скорости целевого сервера, целиком и полностью зависит от того, как целевой сервер измеряет и применяет меры. Если это не задокументировано, вам придется просто поэкспериментировать. Самая безопасная (и потенциально самая медленная) стратегия заключается в последовательном выполнении ваших запросов с задержкой между ними и соответствующей настройке этого времени задержки.

Последовательный запуск с задержкой между каждым запросом

Вы можете запускать свои запросы последовательно и использовать ожидание на обещании задержки, чтобы разделить их во времени. 

const  axios = require('axios');

function delay(t) {
    return new Promise(resolve => setTimeout(resolve, t));
}

async function getResults() {

    const results = [];
    const strings = ['a', 'b', 'c'];
    for (let  str  of  strings) {
        await delay(1000);
        let data = await axios.get(`https://www.apiexample.com/get/?cfg=json&value=${str}`);
        results.push(data);
    }
    return results;
}

getResults.then(results => {
    console.log(results);
}).catch(err => {
    console.log(err);
});

Выполнить N запросов одновременно, когда N> 1 и N <все ваши запросы </strong>

Если вы хотите выполнить N запросов в то время, когда N больше 1 (часто как 3 или 4), но меньше всех ваших запросов, то смотрите mapConcurrent() в этот ответ . Если это возможно, не так много, как вы делали, зависит полностью от целевого сервера и от того, что именно он измеряет и применяет.

Ограничение фактической скорости, когда вы запускаете N запросов в секунду

Для фактического ограничения скорости, когда вы управляете запросами в секунду напрямую, смотрите rateLimitMap() в этом ответе: Выберите правильный асинхронный c метод пакетной обработки для максимальных запросов / se c .

0 голосов
/ 03 мая 2020

Вы можете позвонить в series. Тем не менее, я рекомендую using chunks, чтобы сделать его более полезным.

Использование чанка, лучшая производительность: 

const delay = (ms = 1000) => new Promise((r) => setTimeout(r, ms));

const getInChunk = async function (items, chunkSize) {
  let results = [];
  let chunkPromises = [];
  let chunkResults = [];
  for (let index = 0; index < items.length; index++) {
    if (index % chunkPromises === 0) {
      chunkPromises = [];
      chunkResults.push(await Promise.all(chunkPromises));
    } else {
      chunkPromises.push(
        axios.get(`https://jsonplaceholder.typicode.com/todos/${items[index]}`).then(res => res.data)
      );
    }
  }
  // last chunk
  if (chunkPromises.length) {
    chunkResults.push(await Promise.all(chunkPromises));
  }
  // flatten 
  chunkResults.forEach(chunk =>{
    results = results.concat(chunk)
  })
  console.log(results)
  return results;
};

async function main() {
  const strings = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10];
  const results = await getInChunk(strings, 5);
  console.log(results);
}
main();
<script src="https://cdnjs.cloudflare.com/ajax/libs/axios/0.19.2/axios.min.js"></script>

Простой: 

const axios = require("axios");
const delay = (ms = 1000) => new Promise((r) => setTimeout(r, ms));
const getInSeries = async (promises) => {
  let results = [];
  for (let promise of promises) {
    results.push(await delay().then(() => promise));
  }
  return results;
};
const getInParallel = async (promises) => Promise.all(promises);
async function main() {
  const strings = [1, 2, 3, 4];
  const promises = strings.map((id) =>
    axios
      .get(`https://jsonplaceholder.typicode.com/todos/${id}`)
      .then((res) => res.data)
  );
  const results = await getInSeries(promises);
  console.log(results);
}
main();
<script src="https://cdnjs.cloudflare.com/ajax/libs/axios/0.19.2/axios.min.js"></script>

Производительная серия. л oop один раз O(N). 

const delay = (ms = 1000) => new Promise((r) => setTimeout(r, ms));
const getTodosSeries = async function (items) {
  let results = [];
  for (let index = 0; index < items.length; index++) {
    await delay();
    const res = await axios.get(
      `https://jsonplaceholder.typicode.com/todos/${items[index]}`
    );
    results.push(res.data);
  }
  return results;
};

async function main() {
  const strings = [1, 2, 3, 4];
  const results = await getTodosSeries(strings);
  console.log(results);
}
main();
<script src="https://cdnjs.cloudflare.com/ajax/libs/axios/0.19.2/axios.min.js"></script>
...