разбить большой массив данных на куски, используя dask - PullRequest
Новая
       13

разбить большой массив данных на куски, используя dask

0 голосов
/ 27 сентября 2018

Я искал и тестировал разные способы, чтобы найти, могу ли я разбить большой массив данных на фрагменты по 75 строк, но не смог найти способ сделать это.Вот сенарио:

Я получил очень большой большой массив данных (миллионы строк), используя python и gcp SDK: 

    from google.cloud import bigquery

    def returnBQResult(sqlQuery):
       bqClient = bigquery.Client()
       query_job = bqClient.query(sqlQuery)
       return query_job.to_dataframe()

Я ищу что-то похожее на приведенный ниже код, но используюи делать это параллельно: 

       dfBQResults=returnBQResult(sql)
       result=numpy.array_split(dfBQResults,75)
...