Вставьте кадры данных pandas в SQL - PullRequest
Новая
       17

Вставьте кадры данных pandas в SQL

0 голосов
/ 24 мая 2019

У меня есть 10 000 фреймов данных (которые могут быть преобразованы в JSON).Каждый фрейм данных имеет 5000 строк.Итак, в конечном итоге достаточно много данных, которые я хотел бы вставить в свои базы данных AWS RDS.Я хочу вставить их в свои базы данных, но я нахожу процесс, использующий PyMySQL, слишком медленным, поскольку я перебираю каждую строку и вставляю их.

Первый вопрос: есть ли способ сразу вставить весь фрейм данных в таблицу.Я пытался использовать функцию "to_sql" в библиотеке dataframe, но, похоже, она не работает, поскольку я использую Python 3.6

Второй вопрос: должен ли я использовать NoSQL вместо RDS?Каков наилучший способ структурирования моих (больших) данных?

Большое спасибо 

from sqlalchemy import create_engine
engine = create_engine("mysql://......rds.amazonaws.com")
con = engine.connect()
my_df.to_sql(name='Scores', con=con, if_exists='append')

Таблица "Счеты" уже существует, и я хотел бы поместить все свои базы данных вэта конкретная таблица.Или есть лучший способ организовать мои данные?

1 Ответ

0 голосов
/ 25 мая 2019

Похоже, вы либо пропустили пакет, либо пакет установлен в другой каталог.Используйте файловый менеджер, чтобы найти недостающую библиотеку libmysqlclient.21.dylib, а затем скопируйте ее в правильную папку /Users/anaconda3/lib/python3.6/site-packages/MySQLdb/_mysql.cpython-36m-darwin.so.Мое лучшее предположение, что это либо в вашей директории lib, либо в MySQLdb.Вы также можете найти его в виртуальной среде, которую вы настроили.

...