Чтение n-мерного сложного массива из текстового файла в numpy

Question

Я пытаюсь прочитать N-мерный сложный массив из текстового файла в NumPy. Текстовый файл отформатирован, как показано ниже (включая квадратные скобки в текстовом файле, в одну строку):

[[[-0.26905+0.956854i -0.96105+0.319635i -0.306649+0.310259i] [0.27701-0.943866i -0.946656-0.292134i -0.334658+0.988528i] [-0.263606-0.340042i -0.958169+0.867559i 0.349991+0.262645i] [0.32736+0.301014i 0.941918-0.953028i -0.306649+0.310259i]] [[-0.9462-0.932573i 0.968764+0.975044i 0.32826-0.925997i] [-0.306461-0.9455i -0.953932+0.892267i -0.929727-0.331934i] [-0.958728+0.31701i -0.972654+0.309404i -0.985806-0.936901i] [-0.312184-0.977438i -0.974281-0.350167i -0.305869+0.926815i]]]

Я бы хотел, чтобы это было прочитано в 2x4x3 сложном ndarray.

Файл может быть довольно большим (скажем, 2x4x10e6), поэтому любая эффективность при чтении действительно поможет.

Answer 1

Вот, пожалуйста:

= ^ .. ^ =

import numpy as np
import re

# collect raw data
raw_data = []
with open('data.txt', 'r') as data_file:
    for item in data_file.readlines():
        raw_data.append(item.strip('\n'))

data_array = np.array([])
for item in raw_data:
    # remove brackets
    split_data = re.split('\]', item)
    for string in split_data:
        # clean data
        clean_data = re.sub('\[+', '', string)
        clean_data = re.sub('i', 'j', clean_data)
        # split data
        split_data = re.split(' ', clean_data)
        split_data = list(filter(None, split_data))
        # handle empty list
        if len(split_data) == 0:
            pass
        else:
            # collect data
            data_array = np.hstack((data_array, np.asarray(split_data).astype(np.complex)))

# reshape array
final_array = np.reshape(data_array, (int(data_array.shape[0]/12),4,3))

Выход:

[[[-0.26905 +0.956854j -0.96105 +0.319635j -0.306649+0.310259j]
  [ 0.27701 -0.943866j -0.946656-0.292134j -0.334658+0.988528j]
  [-0.263606-0.340042j -0.958169+0.867559j  0.349991+0.262645j]
  [ 0.32736 +0.301014j  0.941918-0.953028j -0.306649+0.310259j]]

 [[-0.9462  -0.932573j  0.968764+0.975044j  0.32826 -0.925997j]
  [-0.306461-0.9455j   -0.953932+0.892267j -0.929727-0.331934j]
  [-0.958728+0.31701j  -0.972654+0.309404j -0.985806-0.936901j]
  [-0.312184-0.977438j -0.974281-0.350167j -0.305869+0.926815j]]

 [[-0.26905 +0.956854j -0.96105 +0.319635j -0.306649+0.310259j]
  [ 0.27701 -0.943866j -0.946656-0.292134j -0.334658+0.988528j]
  [-0.263606-0.340042j -0.958169+0.867559j  0.349991+0.262645j]
  [ 0.32736 +0.301014j  0.941918-0.953028j -0.306649+0.310259j]]

 [[-0.9462  -0.932573j  0.968764+0.975044j  0.32826 -0.925997j]
  [-0.306461-0.9455j   -0.953932+0.892267j -0.929727-0.331934j]
  [-0.958728+0.31701j  -0.972654+0.309404j -0.985806-0.936901j]
  [-0.312184-0.977438j -0.974281-0.350167j -0.305869+0.926815j]]]

Answer 2

как кажется, вашего файла нет в "питоническом" списке (без запятой между объектами).

Я предполагаю следующее:

1. Вы не можете изменить свой ввод, вы получаете его от стороннего источника)
2. файл не является CSV. (без разделителей между строками)

в результате:

1. попытаться преобразовать строки в строку Python, после каждого "[]" добавить "," -> [[1+2j, 3+4j], [1+2j, 3+4j]]
2. между каждым числом добавьте «,» и измените с «i» на «j» [-0,26905 + 0,956854j, -0,96105 + 0,319635j, -0,306649 + 0,310259j]
3. комплексный номер питона с буквой j 1+2j
4. затем сохраните его как CSV.
5. открыть с пандами, прочитать scv посмотреть по ссылке: Python pandas complex number