Ruby 1.9.2 - чтение и анализ удаленного CSV - PullRequest
Новая
       7

Ruby 1.9.2 - чтение и анализ удаленного CSV

17 голосов
/ 15 мая 2011

Я ищу способ локального чтения и анализа удаленного CSV (размещенного на определенном веб-сайте).

Я нашел в Интернете пару интересных примеров использования FasterCSV, которые в ruby1.9.2 был объединен с CSV.Я обнаружил, что вы можете прочитать удаленный CSV, используя гем 'csv' и 'open-uri' следующим образом: 

require 'csv'
require 'open-uri'

def read(url)
  open(url) do |f|
    f.each_line do |l|
      CSV.parse(l) do |row|
        puts row
      end
    end
  end
end

Но когда я вызываю эту функцию, я получаю исключение: 

ERROR IOError: closed stream

Кто-нибудь может объяснить мне, почему?Что-то не так?Должен ли я выбрать другой подход для чтения удаленных файлов CSV?

Обновление

Лучшее решение, которое я нашел до сих пор, это: 

def read(url)
  data = []
  begin
    open(url) do |f|
      data = CSV.parse f
    end
  rescue IOError => e
    # Silently catch the exception ...
  end

  return data
end

, но в некоторой степени это не такчистый.Я действительно не люблю молча ловить исключение, где его не должно быть ...

Обновление 2

Я могу воспроизвести ошибку, используя 

ruby 1.9.2p0 (2010-08-18 revision 29036) [x86_64-darwin10.4.0]

и 

ruby 1.9.2p180 (2011-02-18 revision 30909) [x86_64-darwin10.7.0]

Это код из моего test.rb файла: 

require 'rubygems'
require 'open-uri'
require 'csv'

def read(url)
  data = []
  begin
    open(url) do |f|
      data = CSV.parse f
    end
  end

  puts data
end

read("http://www.euribor-ebf.eu/assets/modules/rateisblue/processed_files/myav_EURIBOR_2011.csv")

И это вывод команды ruby test.rb 

/Users/marzu/.rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/open-uri.rb:152:in `close': closed stream (IOError)
from /Users/marzu/.rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/open-uri.rb:152:in `open_uri'
from /Users/marzu/.rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/open-uri.rb:671:in `open'
from /Users/marzu/.rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/open-uri.rb:33:in `open'
from test.rb:8:in `read'
from test.rb:16:in `<main>'

Яиспользование rvm 1.6.9 в Mac OS X 10.6.7.

Есть предложения?

1 Ответ

38 голосов
/ 15 мая 2011

В Mac OS X 10.6.7, используя ruby ​​r1.9.2, я получаю ту же ошибку, как показано выше.Но использование следующего кода для чтения CSV-файлов работает для приведенного примера URL: 

require 'rubygems'
require 'open-uri'
require 'csv'

def read(url)
 CSV.new(open(url), :headers => :first_row).each do |line|
   puts line
   puts line[0]
   puts line['FEB11']
 end
end

read("http://www.euribor-ebf.eu/assets/modules/rateisblue/processed_files/myav_EURIBOR_2011.csv")
...