Быстрое чтение большого запроса Salesforce в панды - PullRequest
Новая
       17

Быстрое чтение большого запроса Salesforce в панды

0 голосов
/ 22 февраля 2019

Используя соединитель simple_salesforce, мой запрос возвратил записи c.150k, и следующий способ считывания данных в фрейм данных занял так много времени, что я просто вошел в SF, запустил отчет, загрузил его и прочитал его для панд.Есть ли более быстрый способ?Спасибо 

import pandas as pd
from simple_salesforce import Salesforce

fields = ['field' + str(i) for i in range(1, 10)]
fields_str = ", ".join(fields)
query_str = "select {} from account".format(fields_str)

sf = Salesforce(username= myusername, password= mypwd, security_token = mytoken)
df = sf.query_all(query_str)

sf_df = pd.DataFrame(columns = fields)

for account in range(df['totalSize']):
     account_dict = {}
     for field in fields:
         account_dict[field] = df['records'][account][field]
     dict_df = pd.DataFrame.from_dict([account_dict])
     sf_df = sf_df.append(dict_df, sort=False)
     del(account_dict)

1 Ответ

0 голосов
/ 01 марта 2019

Вы можете извлекать записи напрямую, используя клавишу ['records']. 

df = sf.query_all('SELECT ID, CreatedDate FROM Account LIMIT 10')['records']
df = pd.DataFrame(df)
df

или в виде одной строки кода: 

df = pd.DataFrame(sf.query_all('SELECT ID, Createddate FROM Account LIMIT 10')['records'])
df

, если столбец attributes имеет значениене содержащие данные, которые вы хотите просмотреть, вы можете использовать .drop(columns=['attributes'], чтобы удалить их из возвращенного фрейма данных. 

df = sf.query_all('SELECT ID, CreatedDate FROM Account LIMIT 10')['records']
df = pd.DataFrame(df)
df.drop(columns=['attributes'],inplace=True)
df

или в виде одной строки кода: 

df = pd.DataFrame(sf.query_all('SELECT ID, Createddate FROM Account LIMIT 10')['records']).drop(columns=['attributes'])
df
...