Как векторизовать этот пик поиска для цикла в Python?

Question

В основном я пишу функцию поиска пиков, которая должна быть в состоянии превзойти scipy.argrelextrema в бенчмаркинге.Вот ссылка на данные, которые я использую, и код:

https://drive.google.com/open?id=1U-_xQRWPoyUXhQUhFgnM3ByGw-1VImKB

Если срок действия этой ссылки истечет, данные можно найти в онлайн-загрузчике исторических данных банка dukascopy.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_csv('EUR_USD.csv')
data.columns = ['Date', 'open', 'high', 'low', 'close','volume']

data.Date = pd.to_datetime(data.Date, format='%d.%m.%Y %H:%M:%S.%f')

data = data.set_index(data.Date)

data = data[['open', 'high', 'low', 'close']]

data = data.drop_duplicates(keep=False)

price = data.close.values

def fft_detect(price, p=0.4):

    trans = np.fft.rfft(price)
    trans[round(p*len(trans)):] = 0
    inv = np.fft.irfft(trans)
    dy = np.gradient(inv)
    peaks_idx = np.where(np.diff(np.sign(dy)) == -2)[0] + 1
    valleys_idx = np.where(np.diff(np.sign(dy)) == 2)[0] + 1

    patt_idx = list(peaks_idx) + list(valleys_idx)
    patt_idx.sort()

    label = [x for x in np.diff(np.sign(dy)) if x != 0]

    # Look for Better Peaks

    l = 2

    new_inds = []

    for i in range(0,len(patt_idx[:-1])):

        search = np.arange(patt_idx[i]-(l+1),patt_idx[i]+(l+1))

        if label[i] == -2:
            idx = price[search].argmax()
        elif label[i] == 2:
            idx = price[search].argmin()

        new_max = search[idx]
        new_inds.append(new_max)

    plt.plot(price)
    plt.plot(inv)
    plt.scatter(patt_idx,price[patt_idx])
    plt.scatter(new_inds,price[new_inds],c='g')
    plt.show()

    return peaks_idx, price[peaks_idx]

Он в основном сглаживает данные, используя быстрое преобразование Фурье (FFT), затем берет производную, чтобы найти минимальный и максимальный индексы сглаженных данных, а затем находит соответствующие пики для несглаженных данных.Иногда найденные пики не являются идеальными из-за некоторых эффектов сглаживания, поэтому я запускаю цикл for для поиска более высоких или более низких точек для каждого индекса между границами, указанными l.Мне нужна помощь в векторизации этого цикла for!Я понятия не имею, как это сделать.Без цикла for мой код примерно на 50% быстрее, чем scipy.argrelextrema, но цикл for замедляет его.Так что, если я найду способ векторизовать его, это будет очень быстрая и очень эффективная альтернатива scipy.argrelextrema.Эти два изображения представляют данные без и с циклом for соответственно.

Answer 1

Вот альтернатива ... он использует понимание списка, которое обычно быстрее, чем for-loop

l = 2

# Define the bounds beforehand, its marginally faster than doing it in the loop
upper = np.array(patt_idx) + l + 1
lower = np.array(patt_idx) - l - 1

# List comprehension...
new_inds = [price[low:hi].argmax() + low if lab == -2 else 
            price[low:hi].argmin() + low 
            for low, hi, lab in zip(lower, upper, label)]

# Find maximum within each interval
new_max = price[new_inds]
new_global_max = np.max(new_max)

Answer 2

Это может сделать это.Он не идеален, но, надеюсь, он получит то, что вы хотите, и покажет вам, как векторизовать.Рад слышать любые улучшения, которые вы придумали

label = np.array(label[:-1]) # not sure why this is 1 unit longer than search.shape[0]? 

# the idea is to make the index matrix you're for looping over row by row all in one go. 
# This part is sloppy and you can improve this generation. 

search = np.vstack((np.arange(patt_idx[i]-(l+1),patt_idx[i]+(l+1)) for i in range(0,len(patt_idx[:-1])))) # you can refine this. 

# then you can make the price matrix

price = price[search]

# and you can swap the sign of elements so you only need to do argmin instead of both argmin and argmax 

price[label==-2] = - price[label==-2]

# now find the indices of the minimum price on each row 

idx = np.argmin(price,axis=1)

# and then extract the refined indices from the search matrix 

new_inds = search[np.arange(idx.shape[0]),idx] # this too can be cleaner. 
# not sure what's going on here so that search[:,idx] doesn't work for me
# probably just a misunderstanding 

Я считаю, что это воспроизводит ваш результат, но я не рассчитал его.Я подозреваю, что генерация поиска довольно медленная, но, вероятно, все еще быстрее, чем ваш цикл for.

Редактировать:

Вот лучший способ произвести search:

patt_idx = np.array(patt_idx)
starts = patt_idx[:-1]-(l+1)
stops = patt_idx[:-1]+(l+1)
ds = stops-starts
s0 = stops.shape[0]
s1 = ds[0]
search = np.reshape(np.repeat(stops - ds.cumsum(), ds) + np.arange(ds.sum()),(s0,s1))