Загрузка разреженной матрицы Matlab с использованием Python Pytables - PullRequest
Новая
       13

Загрузка разреженной матрицы Matlab с использованием Python Pytables

3 голосов
/ 09 декабря 2011

Я первоначально задал связанный вопрос здесь , но, похоже, ничего не получилось. Возможно, если я перефразирую часть этого более конкретно, это могло бы помочь ....

У меня есть файлы, хранящиеся в разреженном формате Matlab (HDF5, csc I верить), и я пытаюсь использовать Pytables для работы с ними напрямую, но пока не удалось. Используя h5py, я могу сделать следующее: 

# Method 1: uses h5py (WORKS)
f1 = h5py.File(fname)
data = f1['M']['data']
ir = f1['M']['ir']
jc = f1['M']['jc']
M = scipy.sparse.csc_matrix((data, ir, jc))

но если я попытаюсь сделать эквивалент в Pytables: 

# Method 2: uses pyTables (DOESN'T WORK)
f2 = tables.openFile(fname)
data = f2.root.M.data
ir = f2.root.M.ir
jc = f2.root.M.jc
M = scipy.sparse.csc_matrix( (data,ir,jc) )

происходит сбой (после долгого ожидания) с ошибкой: 

TypeError                                 Traceback (most recent call last)

/home/tdiethe/BMJ/<ipython console> in <module>()

/usr/lib/python2.6/dist-packages/scipy/sparse/compressed.pyc in __init__(self, arg1, shape, dtype, copy, dims, nzmax)
    56                     self.indices = np.array(indices, copy=copy)
    57                     self.indptr  = np.array(indptr, copy=copy)
---> 58                     self.data    = np.array(data, copy=copy, dtype=getdtype(dtype, data))
    59                 else:
    60                     raise ValueError, "unrecognized %s_matrix constructor usage" %\

/usr/lib/python2.6/dist-packages/scipy/sparse/sputils.pyc in getdtype(dtype, a, default)
    69                 canCast = False
    70             else:
---> 71                 raise TypeError, "could not interpret data type"
    72     else:
    73         newdtype = np.dtype(dtype)

TypeError: could not interpret data type

Глядя на f2: 

In [63]: f2.root.M.data
Out[63]: 
/M/data (CArray(4753606,), zlib(3)) ''
  atom := Float64Atom(shape=(), dflt=0.0)
  maindim := 0
  flavor := 'numpy'
  byteorder := 'little'
  chunkshape := (8181,)

In [64]: f2.root.M.ir
Out[64]: 
/M/ir (CArray(4753606,), zlib(3)) ''
  atom := UInt64Atom(shape=(), dflt=0)
  maindim := 0
  flavor := 'numpy'
  byteorder := 'little'
  chunkshape := (8181,)

In [65]: f2.root.M.jc
Out[65]: 
/M/jc (CArray(133339,), zlib(3)) ''
  atom := UInt64Atom(shape=(), dflt=0)
  maindim := 0
  flavor := 'numpy'
  byteorder := 'little'
  chunkshape := (7843,)

У меня есть два вопроса:

  • как мне загрузить этот файл с помощью pytables
  • мне нужно выполнить преобразование в скудную разреженную матрицу, чтобы иметь возможность выполнять операции с ней, или я могу выполнять операции непосредственно с файлами диска (умножение матрицы и т. Д.) - т. Е. Без загрузки файла в память (если нет смысла использовать pytables?)?

1 Ответ

3 голосов
/ 13 декабря 2011

Я упустил возможность увидеть это в исходном посте, но я думаю, что ваша проблема связана с дизайном PyTables, который обеспечивает дополнительный уровень абстракции поверх базовых данных.

Рассмотрим следующее: 

>>> import tables
>>> import numpy as np

>>> h5_file = tables.openFile(fname)
>>> data = f2.root.M.data

На данный момент data не является массивом numpy: 

>>> type(data)
tables.array.Array

>>> isinstance(data, np.ndarray)
False

tables.array.Array немедленно загружает базовый массив или немедленно предоставляет функциональность, подобную массиву.Именно это и привело к ошибке, когда вы пытались использовать эти типы объектов для создания разреженного массива в scipy.

Вместо этого объект data, созданный PyTables, предназначен для обеспечения доступа к данным с помощью дополнительных команд (т. Е. Вы сделали это с помощью необычного индексирования [...]).При таком подходе вы можете получить доступ к частям данных или всем этим, выполнив data[:] или data.read().Только в этот момент создается знакомый массив numpy.

Для получения дополнительной информации о классе tables.array.Array см. http://pytables.github.com/usersguide/libref.html#the-array-class или раздел Getting actual data в http://www.pytables.org/moin/HowToUse для примеров доступа к базовым данным.

Для сравнения pyh5 создает гораздо больше массивоподобных объектов, хотя все еще не numpy массивов.Обратите внимание: 

>>> import pyh5
>>> f1 = h5py.File(fname)
>>> data = f1['M']['data']
>>> type(data)
h5py._hl.dataset.Dataset
>>> isinstance(data, np.ndarray)
>>> False

Однако вы можете немедленно выполнить numpy операции с data, как при вызове scipy, или более простые операции, такие как np.cos(data) или data + np.arange(len(data)).Также представляется, что data объект имеет некоторые знакомые numpy подобные атрибуты (то есть shape) и что базовые данные (numpy.ndarray) хранятся в data.value.Тем не менее, я не знаком с pyh5, поскольку сам не использовал его, поэтому не уверен, каковы ограничения в этом отношении.

Как правило, PyTables и pyh5 имеют разные цели проектирования и поэтому должны использоваться по-разному.pyh5 предлагает более похожий на Numpy интерфейс для файлов HDF, в то время как PyTables предлагает намного более сложные базы данных, такие как операции.См. Обсуждение различий в документах pyh5, PyTables и в списке рассылки Enthought:

...