Rails параллельные фоновые процессы

Question

Мне нужно получить доступ и получить данные из ряда API в течение нескольких дней.Это потоковая передача данных, поэтому процесс будет выполняться постоянно.Каждый процесс будет извлекать данные и вставлять их в отдельную таблицу Google Fusion.

Поскольку я хочу запустить эти процессы в фоновом режиме и забыть о них, я просто могу отслеживать, если они не работают и не перезагружаются..

Я посмотрел на отложенную работу, Resque, Beanstalk и т. Д., И мой вопрос заключается в том, могут ли эти процессы запускаться одновременно.Я не хочу ставить процессы в очередь, просто запускать их в фоновом режиме.

Я также посмотрел на Spawn, но не до конца понял, как он работает.

Итак, какие опции доступны длямне, у кого-нибудь есть рекомендации?

Answer 1

Возможно, вам лучше подойдет пользовательский фоновый демон, посмотрите на daemon_generator . Но учтите, что вам, вероятно, придется выполнять некоторую работу, если вы хотите делать что-то одновременно, но простая обработка в последовательном режиме должна быть довольно простой.

Answer 2

Я бы использовал всякий раз, когда gem для планирования заданий cron для извлечения данных.

every 2.hours do 
  YourApi.do_whatever
  SecondApi.do_the_thing
end