Преобразовать набор данных 10 ^ 9 x 2 uint32 H5py в список кортежей - PullRequest
0 голосов
/ 01 декабря 2018

У меня есть данные в длинном файле HDF5, и класс, который я хотел бы использовать (igraph.Graph), по-видимому, настаивает на списке кортежей в своей функции init .Я пытался для циклов, список (набор данных), read_direct (набор данных) .tolist () и [mylist.append (tuple (x) для х в наборе данных]. Все они были слишком медленными, чтобы быть полезными. До сих пор,в основном это связано с процессором, хотя некоторые операции ввода-вывода ожидают, своп 40G RAM + 40G, с которым я работаю, может быть ограничен. Мне кажется странным, что нет быстрого способа сделать это, но, возможно,это признак того, что пора переходить на C / C ++.

(я знаю, что задавались вопросы о переходе от пустых массивов к спискам. Моя проблема в достаточно большом масштабе, и эти решения кажутсябыть слишком медленным.)

...