Вставьте информацию в MySQL из нескольких связанных файлов Excel

Question

Итак, у меня есть эта огромная схема БД из карт платы транспортного средства, эти данные на самом деле хранятся в нескольких файлах Excel, моя работа заключалась в создании схемы базы данных для сброса всех этих данных в MySql, но теперь мне нужно создайте процесс для вставки данных в БД.

Это пример того, как сортируются таблицы Excel:

Дело в том, что все это Excel файлы плохо помечены. Мой вопрос заключается в том, что мне нужно сделать, чтобы создать сценарий для передачи всех этих данных из Excel в БД? Я также использую идентификаторы, внешние ключи, первичные ключи, соединения и т. Д. c.

До сих пор я думал об этом:

1.-Нормализовать структуру таблиц в Excel в хорошем способ вставки данных на языке SQL.

2.-Создайте сценарий в python для вставки данных каждой таблицы.

Можете ли вы помочь, где мне следует начать и как? какие темы я должен гуглить?

Answer 1

С помощью pandas вы можете легко читать из Excel (как csv, так и xlsx) и выгружать данные в любую базу данных.

import pandas as pd
df = pd.read_excel('file.xlsx')
df.to_sql(sql_table)

Если у вас возникли проблемы с производительностью при дампе на MySQL, вы можете найти другой способ сделать дамп здесь python pandas to_ sql с sqlalchemy: как ускорить экспорт в MS SQL?