Как реализовать SQL Groupby в RAPIDS - PullRequest
0 голосов
/ 20 ноября 2018

Я пытаюсь перевести запрос SQL для использования RAPIDS.Рассмотрим упрощенный запрос ниже:

(SELECT min(a), max(b), c
FROM T
GROUP BY c) AS result

Я проверил приведенный ниже код, но является ли это оптимальным решением?Нужна ли сортировка по групповому ключу?Есть ли более чистый / более идиоматический способ написать это?

from pygdf import DataFrame as gdf

T = gdf(...)
df = gdf({'a':T.a, 'c':T.c}).groupby('c').min().sort_values(by='c')
df['max_b'] = gdf({'b':T.b, 'c':T.c}).groupby('c').max().sort_values(by='c').max_b
result = gdf({'a': df.min_a, 'b': df.max_b, 'c':df.c})

Ответы [ 2 ]

0 голосов
/ 22 июля 2019

Вы можете использовать BlazingSQL , который представляет собой движок SQL, построенный на основе RAPIDS.Полное раскрытие, я работаю на BlazingSQL.

from blazingsql import BlazingContext
bc = BlazingContext()

# Create Table from GDF
bc.create_table('myTableName', gdf)

# Query
result = bc.sql('SELECT min(a), max(b), c FROM main.myTableName GROUP BY c').get()
result_gdf = result.columns

#Print GDF 
print(result_gdf)
0 голосов
/ 23 ноября 2018

Вы можете переписать свое агрегирование с помощью функции .agg, чтобы сделать его более простым:

from pygdf import DataFrame as gdf

T = gdf(...)
df = gdf({'a':T.a, 'b': T.b, 'c':T.c}).groupby('c').agg({'a': 'min', 'b': 'max'})
result = gdf({'a': df.min_a, 'b': df.max_b, 'c':df.c})
...