Хороший подход для запуска одноразового скрипта

Question

Мне нужна рекомендация для запуска одноразового скрипта.

Ниже приведены шаги, которые мне нужно сделать

• 100 онлайн-изображений (для этого у меня есть массив)
• скачайте и положите в мою рабочую папку

Какой хороший способ сделать это: - (ниже мои мысли)

• написать скрипт и запустить его из терминала?
• одноразовая работа в Cron?

Я использую Node.js

Answer 1

Нет необходимости в пакетном режиме, просто напишите CLI и запустите его в фоновом режиме

Используя async.queue, вы можете определить, сколько рабочих функций может работать параллельно. И вы можете выдвигать URL-адреса изображений в асинхронном режиме. Объект очереди и рабочие потоки будут параллельно загружать изображения быстро, и вы сможете сохранить их на свой диск.

Ссылка: Обработка большого набора данных менее чем в 100 строках Node.js с помощью async.queue https://medium.com/the-node-js-collection/processing-a-large-dataset-in-less-than-100-lines-of-node-js-with-async-queue-9766a78fa088

Пример кода: https://gist.github.com/sararob/275b252d1eda3a5baa27d6464d2f2198

Ссылка: https://caolan.github.io/async/v3/docs.html#queue

номер параллелизма
целое число для определения количества рабочих функций, которые должны выполняться параллельно. Это свойство можно изменить после создания очереди, чтобы изменить параллелизм на лету.

Пример кода:

// Очередь отправляет идентификатор изображения в callVision () и записываетответ на локальный файл // после завершения обработки всей очереди

let q = async.queue(callVision, 20);

q.push(imageIds, function (err) {
  if (err) {
    console.log(err)
  }
});