Чтение ARFF из ZIP с помощью zipfile и scipy.io.arff - PullRequest
Новая
       38

Чтение ARFF из ZIP с помощью zipfile и scipy.io.arff

1 голос
/ 19 марта 2019

Я хочу обработать довольно большие файлы ARFF в scikit-learn. Файлы находятся в zip-архиве, и я не хочу распаковывать архив в папку перед обработкой. Следовательно, я использую модуль zipfile в Python 3.6: 

from zipfile import ZipFile
from scipy.io.arff import loadarff

archive = ZipFile( 'archive.zip', 'r' )
datafile = archive.open( 'datafile.arff' )
data = loadarff( datafile )
# …
datafile.close()
archive.close()

Однако это приводит к следующей ошибке: 

Traceback (most recent call last):
  File "./m.py", line 6, in <module>
    data = loadarff( datafile )
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 541, in loadarff
    return _loadarff(ofile)
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 550, in _loadarff
    rel, attr = read_header(ofile)
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 323, in read_header
    while r_comment.match(i):
TypeError: cannot use a string pattern on a bytes-like object

Согласно документации loadarff , loadarff требует объект типа файла. Согласно документации zipfile , open возвращает файл, подобный ZipExtFile.

Следовательно, мой вопрос заключается в том, как использовать то, что ZipFile.open возвращает как вход ARFF для loadarff.

Примечание: если я разархивирую вручную и загрузлю ARFF напрямую с помощью data = loadarff( 'datafile.arff' ), все в порядке.

1 Ответ

0 голосов
/ 19 марта 2019 
from io import BytesIO, TextIOWrapper
from zipfile import ZipFile
from scipy.io.arff import loadarff

zfile = ZipFile('archive.zip', 'r')
in_mem_fo = TextIOWrapper(BytesIO(zfile.read('datafile.arff')), encoding='utf-8')
data = loadarff(in_mem_fo)

Считывание zfile в объект BytesIO в памяти.Используйте TextIOWrapper с encoding='utf-8'.Используйте этот буферизованный текстовый объект в памяти в loadarff.

Редактировать: Turnsout zfile.open() возвращает объект, подобный файлу, поэтому все вышеперечисленное можно выполнить с помощью: 

zfile = ZipFile('archive.zip', 'r')
in_mem_fo = TextIOWrapper(zfile.open('datafile.arff'), encoding='ascii')
data = loadarff(in_mem_fo)

Спасибо @Бернхард

...