Ruby: конвертировать большие XML-файлы в CSV - PullRequest
Новая
       19

Ruby: конвертировать большие XML-файлы в CSV

1 голос
/ 21 ноября 2011

У меня маленькая проблема. Мне нужно конвертировать большие XML-файлы (1-4 ГБ каждый) в CSV. Я знаю, что могу сделать это с помощью SAX-парсера Nokogiri, но я застрял. 

<Documents>
    <Document DocID="10170306" DocType="Message">
    <FieldValues>

        <E03>-1166737392</E03>
        <E05>petrosky (petrosky@foo.com)</E05>
        <E06>00000000B89476181EE6C34FB4E9D87F9E44A85944002000</E06>
        <E07>\foo-dedup-global.mbox_99.mbox\</E07>
        <E08>5/12/2011 6:32:38 PM</E08>
        <E09>Fwd: important decision for v1 launch</E09>
        <E10>Susan Infantino (susani@foo.com); Mike Yang (foo@mail.com)</E10>
        <F01>Jun  8 2011  7:43AM</F01>
        <F02>May 12 2011  6:32PM</F02>
        <F03>Msg0002_important decisi.html</F03>
        <F04>MSMAIL</F04>
        <F05>CA4DBB95C638FB656CB02627DDEA90C9</F05>
        <F06>28677</F06>
        <F07>foo-dedup-global.mbox_99.mbox.pst</F07>
        <F08>10164846</F08>
        <F09>10170306</F09>
        <E11>0</E11>
        <E12>&lt;BANLkTi=yztN5Pd0v9i9+zN=aYhAo5Y8ffA@mail.foo.com&gt;</E12>

    </FieldValues>
    <Files>
      <File FileType="Native">
        <ExternalFile FilePath="\04_EXT\31\foo-dedup-global.mbox_99.mbox.pst10164846.dir\foo-dedup-global.mbox_99.mbox\" FileName="Msg0002_important decisi.html" FileSize="28677" Hash="CA4DBB95C638FB656CB02627DDEA90C9" HashType="MD5" />
      </File>
    </Files>
    <Locations>
      <Location>
        <Custodian>Yang_Mike</Custodian>
        <LocationURI>\\ANNATXCIFS02\PN_Dunbar_F01401\04_EXT\31\foo-dedup-global.mbox_99.mbox.pst10164846.dir\foo-dedup-global.mbox_99.mbox\Msg0002_important decisi.html</LocationURI>
      </Location>
    </Locations>    
  </Document>
</Documents>

Я немного поиграл с программированием, управляемым событиями. 

require 'fileutils'
require 'faster_csv'
require 'nokogiri'

file = ARGV[0]

include Nokogiri

class Xmlfile < XML::SAX::Document
  def start_element name, attrs
    # Process data here
    if name == 'Document'
      documentName = [*attrs]
      puts documentName
    end     
    if name == 'File'
      file = [*attrs]
      puts file
    end
    if name == 'ExternalFile'
      externalFile = [*attrs]
      puts externalFile 
    end
  end

#   def end_element name, attrs
#   end

end

parser = XML::SAX::Parser.new(Xmlfile.new)
parser.parse_file(file)

1 Ответ

3 голосов
/ 21 ноября 2011

Похоже, вы выводите нужную информацию в puts и пытаетесь записать данные в переменные.Вам не хватает той части, где вы что-то делаете с переменными для отправки данных в генератор CSV.

Вы можете добавить documentName, file и externalFile в массив и передать его в CSV.

Документация CSV показывает несколько хороших способов генерации вывода.Проверьте раздел «Письмо» для получения дополнительной информации.

Из документов: 

FasterCSV.open("path/to/file.csv", "w") do |csv|
  csv << ["row", "of", "CSV", "data"]
  csv << ["another", "row"]
  # ...
end
...