Выполнение нескольких HTTP-запросов асинхронно - PullRequest
Новая
       51

Выполнение нескольких HTTP-запросов асинхронно

11 голосов
/ 24 января 2010 
require 'net/http'

urls = [
  {'link' => 'http://www.google.com/'},
  {'link' => 'http://www.yandex.ru/'},
  {'link' => 'http://www.baidu.com/'}
]

urls.each do |u|
  u['content'] = Net::HTTP.get( URI.parse(u['link']) )
end

print urls

Этот код работает в синхронном стиле. Первый запрос, второй, третий. Я хотел бы отправлять все запросы асинхронно и печатать urls после того, как все они выполнены.

Какой лучший способ сделать это? Волокно подходит для этого?

Ответы [ 7 ]

15 голосов
/ 25 января 2010

Вот пример использования потоков. 

require 'net/http'

urls = [
  {'link' => 'http://www.google.com/'},
  {'link' => 'http://www.yandex.ru/'},
  {'link' => 'http://www.baidu.com/'}
]

urls.each do |u|
  Thread.new do
    u['content'] = Net::HTTP.get( URI.parse(u['link']) )
    puts "Successfully requested #{u['link']}"

    if urls.all? {|u| u.has_key?("content") }
      puts "Fetched all urls!"
      exit
    end
  end
end

sleep
14 голосов
/ 05 января 2015

Я только что видел это год и чуть позже, но, надеюсь, не слишком поздно для какого-нибудь гуглера ...

Typhoeus , безусловно, лучшее решение для этого. Это оборачивает libcurl действительно элегантным способом. Вы можете установить max_concurrency до 200 без удушья.

Что касается тайм-аутов, если вы передадите Тайфуюсу флаг :timeout, он просто зарегистрирует тайм-аут в качестве ответа ... и затем вы даже можете поместить запрос обратно в другую гидру, чтобы повторить попытку, если хотите.

Вот ваша программа, переписанная с помощью Typhoeus. Надеюсь, это поможет любому, кто попадет на эту страницу позже! 

require 'typhoeus'

urls = [
  'http://www.google.com/',
  'http://www.yandex.ru/',
  'http://www.baidu.com/'
]

hydra = Typhoeus::Hydra.new

successes = 0

urls.each do |url|
    request = Typhoeus::Request.new(url, timeout: 15000)
    request.on_complete do |response|
        if response.success?
            puts "Successfully requested " + url
            successes += 1
        else
            puts "Failed to get " + url
        end
    end
    hydra.queue(request)
end

hydra.run 

puts "Fetched all urls!" if successes == urls.length
3 голосов
/ 02 апреля 2016

Я написал подробное сообщение в блоге на эту тему, в котором содержится ответ, несколько похожий на опубликованный в августе, но с некоторыми ключевыми отличиями 1) Отслеживает все ссылки на потоки в массиве "thread". 2) Использует метод join для связывания потоков в конце программы. 

require 'net/http'

# create an array of sites we wish to visit concurrently.
urls = ['link1','link2','link3']  
# Create an array to keep track of threads.
threads = []

urls.each do |u|  
  # spawn a new thread for each url
  threads << Thread.new do
  Net::HTTP.get(URI.parse(u))
    # DO SOMETHING WITH URL CONTENTS HERE
    # ...
    puts "Request Complete: #{u}\n"
  end
end

# wait for threads to finish before ending program.
threads.each { |t| t.join }

puts "All Done!"

Полный учебник (и некоторая информация о производительности) доступен здесь: https://zachalam.com/performing-multiple-http-requests-asynchronously-in-ruby/

1 голос
/ 24 января 2010

Это можно сделать с помощью библиотеки C cURL . привязка ruby ​​ для этой библиотеки существует, но, похоже, она не поддерживает эту функциональность из коробки. Однако, похоже, что патч добавляет / исправляет его (пример кода доступен на странице). Я знаю, что это звучит не очень хорошо, но, возможно, стоит попробовать, если нет лучших предложений.

0 голосов
/ 19 июня 2015

Gem work_queue - это самый простой способ асинхронного и одновременного выполнения задач в вашем приложении. 

wq = WorkQueue.new 2 # Limit the maximum number of simultaneous worker threads

urls.each do |url|
  wq.enqueue_b do
    response = Net::HTTP.get_response(url)
    # use the response
  end
end

wq.join # All requests are complete after this
0 голосов
/ 24 января 2010

Вы можете иметь разные потоки для выполнения каждого из Net :: HTTP.get. И просто дождитесь окончания всех тем.

Кстати, URL-адреса печати будут печатать как ссылку, так и содержимое.

0 голосов
/ 24 января 2010

Это зависит от того, что вы хотите сделать после этой функции. Вы можете сделать это с помощью простых потоков:

см .: http://snipplr.com/view/3966/simple-example-of-threading-in-ruby/

...