Перемещение большого SQL-запроса в NumPy - PullRequest
Новая
       11

Перемещение большого SQL-запроса в NumPy

1 голос
/ 24 августа 2011

У меня очень большой запрос MySQL в моем веб-приложении, который выглядит следующим образом: 

query = 
SELECT video_tag.video_id, (sum(user_rating.rating) * video.rating_norm) as score 

FROM video_tag 
JOIN user_rating ON user_rating.item_id = video_tag.tag_id
JOIN video ON video.id = video_tag.video_id 

WHERE item_type = 3 AND user_id = 1 AND rating != 0 AND video.website_id = 2 
AND rating_norm > 0 AND video_id NOT IN (1,2,3) GROUP BY video_id 
ORDER BY score DESC LIMIT 20"

Этот запрос объединяет три таблицы (video, video_tag и user_rating), группирует результаты и выполняет некоторые основныематематика для вычисления балла для каждого видео.Для больших таблиц требуется около 2 с.

Вместо того, чтобы заставлять SQL выполнять всю эту работу, я подозреваю, что было бы быстрее выполнить это вычисление с использованием массивов NumPy.Данные в «video» и «video_tag» являются постоянными, поэтому я мог бы просто загрузить эти таблицы в память один раз и не выполнять пинг SQL каждый раз.

Однако, хотя я могу загрузить эти три таблицы в три отдельныхмассивы, у меня чертовски много времени, реплицируя вышеупомянутый запрос (особенно части JOIN и GROUP BY).Кто-нибудь имел опыт репликации SQL-запросов с использованием массивов NumPy?

Спасибо!

1 Ответ

3 голосов
/ 24 августа 2011

Что делает это упражнение неловким, так это ограничение для одного типа данных для массивов NumPy. Например, для операции GROUP BY неявно требуется (как минимум) одно поле / столбец с непрерывными значениями (для агрегирования / суммирования) и одно поле / столбец для разбиения или группировки по.

Конечно, NumPy recarrays может представлять двумерный массив (или таблицу SQL), используя разные типы данных для каждого столбца (иначе «Поле»), но я считаю, что эти составные массивы неудобны для работы. Поэтому в приведенных ниже фрагментах кода я просто использовал обычный класс ndarray для репликации двух операций SQL, выделенных в вопросе OP.

для имитации SQL JOIN в NumPy:

сначала создайте два массива NumPy (A & B) каждый для представления таблицы SQL. Первичные ключи для A находятся в 1-м столбце; внешний ключ для B также в 1-м столбце. 

import numpy as NP
A = NP.random.randint(10, 100, 40).reshape(8, 5)
a = NP.random.randint(1, 3, 8).reshape(8, -1)    # add column of primary keys      
A = NP.column_stack((a, A))

B = NP.random.randint(0, 10, 4).reshape(2, 2)
b = NP.array([1, 2])
B = NP.column_stack((b, B))


Теперь (попытка) реплицировать JOIN с использованием объектов массива NumPy: 

# prepare the array that will hold the 'result set':
AB = NP.column_stack((A, NP.zeros((A.shape[0], B.shape[1]-1))))

def join(A, B) :
    '''
    returns None, side effect is population of 'results set' NumPy array, 'AB';
    pass in A, B, two NumPy 2D arrays, representing the two SQL Tables to join
    '''
    k, v = B[:,0], B[:,1:]
    dx = dict(zip(k, v))
    for i in range(A.shape[0]) :
        AB[i:,-2:] = dx[A[i,0]]

1025 *
*

для имитации SQL GROUP BY в NumPy: 

def group_by(AB, col_id) :
    '''
    returns 2D NumPy array aggregated on the unique values in column specified by col_id;
    pass in a 2D NumPy array and the col_id (integer) which holds the unique values to group by
    '''
    uv = NP.unique(AB[:,col_id]) 
    temp = []
    for v in uv :
        ndx = AB[:,0] == v          
        temp.append(NP.sum(AB[:,1:][ndx,], axis=0))
    temp = NP. row_stack(temp)
    uv = uv.reshape(-1, 1)
    return NP.column_stack((uv, temp))



для теста они возвращают правильный результат: 

>>> A
  array([[ 1, 92, 50, 67, 51, 75],
         [ 2, 64, 35, 38, 69, 11],
         [ 1, 83, 62, 73, 24, 55],
         [ 2, 54, 71, 38, 15, 73],
         [ 2, 39, 28, 49, 47, 28],
         [ 1, 68, 52, 28, 46, 69],
         [ 2, 82, 98, 24, 97, 98],
         [ 1, 98, 37, 32, 53, 29]])

>>> B
  array([[1, 5, 4],
         [2, 3, 7]])

>>> join(A, B)
  array([[  1.,  92.,  50.,  67.,  51.,  75.,   5.,   4.],
         [  2.,  64.,  35.,  38.,  69.,  11.,   3.,   7.],
         [  1.,  83.,  62.,  73.,  24.,  55.,   5.,   4.],
         [  2.,  54.,  71.,  38.,  15.,  73.,   3.,   7.],
         [  2.,  39.,  28.,  49.,  47.,  28.,   3.,   7.],
         [  1.,  68.,  52.,  28.,  46.,  69.,   5.,   4.],
         [  2.,  82.,  98.,  24.,  97.,  98.,   3.,   7.],
         [  1.,  98.,  37.,  32.,  53.,  29.,   5.,   4.]])

>>> group_by(AB, 0)
  array([[   1.,  341.,  201.,  200.,  174.,  228.,   20.,   16.],
         [   2.,  239.,  232.,  149.,  228.,  210.,   12.,   28.]])
...