Анализировать данные из транзакционной таблицы teradata в другую таблицу, используя python и pandas - PullRequest
Новая
       33

Анализировать данные из транзакционной таблицы teradata в другую таблицу, используя python и pandas

0 голосов
/ 25 февраля 2019

Итак, я новичок в Python и хочу провести разбор данных.У меня есть таблица в Teradata с миллионами записей.В 1 столбце таблицы есть описание транзакции, например, выписка из банка, например (Покупка на 25/02 Amazon.com), а в другом столбце - дебетовая сумма, например (52) (давайте забудем валюту и сосредоточимся только на числе), и есть другие столбцы, которыеЯ не хочу думать сейчас.Я хочу создать другую таблицу, содержащую только 2 столбца, имя и сумму продавца, которые должны выглядеть следующим образом:

Сумма продавца 

Amazon    52
Amazon    96
Walmart   50

Я могу анализировать данные для одного продавца сразу, но недля нескольких торговцев, так как у меня более 100 разных продавцов или даже больше 

query= """select Merchant, Amt from Table1"""

df = pd.read_sql(query,conn)

for each in df:
    df1= each[each.Merchant.str.contains("AMAZON")]
    df1['Merchant']='AMAZON'
    total=df1.groupby(['Merchant'])
    print(total.head())
    break

df1.to_csv(r"Desktop\output1.CSV", index=False)

with open(r"Desktop\output1.CSV",'r')as csvfile:
    reader = csv.DictReader(csvfile)
    for row in reader:
        insert = 'INSERT INTO Table2(Merchant,Amt) VALUES(?,?)'
        cursor.executemany(insert, row['Merchant'],row['Amt'])
...