Сравните 2-мерный массив NumPy с 1-мерным массивом NUMPY

Question

У меня есть массив NumPy a формы (m1,m2) со строковыми записями.Я сравниваю записи этого массива a с одномерным массивом numpy, содержащим строки (arr).Одномерный массив arr имеет форму (n,), где n - большое число (~ 10000)

. Пример массива a можно найти здесь (файл.TXT) .Пример массива arr можно найти здесь (arr.txt) .

Так я сравниваю arr со строками в a.Если элемент arr найден в любой строке a, то я сохраняю индекс этого элемента из arr в новом списке (comp + str(i).zfill(5)):

import pandas as pd
import numpy as np

a = pd.read_csv('file.txt', error_bad_lines=False, sep=r'\s+', header=None).values[:,1:].astype('<U1000')

arr = np.genfromtxt('arr.txt',dtype='str')

for i in range(a.shape[0]):
    globals()['comp' + str(i).zfill(5)] = []
    for j in range(len(arr)):
        if arr[j] in set(a[i, :]): globals()['comp' + str(i).zfill(5)] += [j] 

Но,код, который я имею выше, действительно медленный (это занимает ~ 15-20 минут).Мне интересно, есть ли более быстрый способ выполнить задачу, которую я хочу .Любое предложение будет оценено.

Answer 1

Я не мог надежно прочитать ваш file.txt, поэтому использовал его небольшое подмножество.Я преобразовал 'arr' в словарь, который называется 'lu' с текстом в качестве ключей и позициями индекса в качестве значений.

In [132]: a=np.array([['onecut2', 'ttc14', 'zadh2', 'pygm', 'tiparp', 'mgat4a', 'man2a1', 'zswim5', 'tubd1', 'igf2bp3'],
 ...: ['pou2af1', 'slc25a12', 'zbtb25', 'unk', 'aif1', 'tmem54', 'apaf1', 'dok2', 'fam60a', 'rab4b'],
 ...: ['rara', 'kcnk4', 'gfer', 'trip10', 'cog6', 'srebf1', 'zgpat', 'rxrb', 'clcf1', 'fyttd1'],
 ...: ['rarb', 'kcnk4', 'gfer', 'trip10', 'cog6', 'srebf1', 'zgpat', 'rxrb', 'clcf1', 'fyttd1'],
 ...: ['rarg', 'kcnk4', 'gfer', 'trip10', 'cog6', 'srebf1', 'zgpat', 'rxrb', 'clcf1', 'fyttd1'],
 ...: ['pou5f1', 'slc25a12', 'zbtb25', 'unk', 'aif1', 'tmem54', 'apaf1', 'dok2', 'fam60a', 'rab4b'],
 ...: ['apc', 'rab34', 'lsm3', 'calm2', 'rbl1', 'gapdh', 'prkce', 'rrm1', 'irf4', 'actr1b']])

In [133]: def do_analysis(src, lu):
 ...:     res={}  # Initialise result to an empty dictionary
 ...:     for r, row in enumerate(src):
 ...:         temp_list=[]   # list to append results to in the inner loop
 ...:         for txt in row:
 ...:             exists=lu.get(txt, -1)   # lu returns the index of txt in arr, or -1 if not found.
 ...:             if exists>=0: temp_list.append(exists)   # If txt was found in a append it's index to the temp_list
 ...:         res['comp'+str(r).zfill(5)]=temp_list  
 ...:         # Once analysis of the row has finished store the list in the res dictionary
 ...:     return res

In [134]: lu=dict(zip(arr, range(len(arr)))) 
          # Turn the array 'arr' into a dictionary which returns the index of the corresponding text.

In [135]: lu
Out[135]: 
{'pycrl': 0, 'gpr180': 1, 'gpr182': 2, 'gpr183': 3, 'neurl2': 4,
 ...
 'hcn2': 999,   ...}

In [136]: do_analysis(a, lu)
Out[136]: 
{'comp00000': [6555, 3682, 7282, 1868, 5522, 9128, 1674, 8695, 156],
 'comp00001': [6006, 3846, 8185, 8713, 5806, 4912, 597, 7565, 3003],
 'comp00002': [9355, 3717, 1654, 2386, 6309, 7396, 3825, 2135, 6596, 7256],
 'comp00003': [9356, 3717, 1654, 2386, 6309, 7396, 3825, 2135, 6596, 7256],
 'comp00004': [9358, 3717, 1654, 2386, 6309, 7396, 3825, 2135, 6596, 7256],
 'comp00005': [6006, 3846, 8185, 8713, 5806, 4912, 597, 7565, 3003],
 'comp00006': [8916, 8588, 2419, 3656, 9015, 7045, 7628, 5519, 8793, 1946]}

In [137]: %timeit do_analysis(a, lu)
47.9 µs ± 80.8 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

Your file  262000 bytes
My array a    462 bytes
               48 µs

In [138]: 262000 / 462 * 48 / 1000000
Out[138]: 0.0272 seconds

Если массив 'a' является списком списков, которые выполняет анализв два раза быстрее, чем когда 'a' - это пустой массив.

Я надеюсь, что это делает то, что вам нужно, или направляет вас в правильном направлении.