Преобразование онлайн-набора файлов JSON в реляционную БД (SQL Server, MySQL, SQLITE)

Question

Я использую инструмент под названием Teamwork для управления проектами моей команды.У меня есть онлайн-API, состоящий из файлов JSON, которые доступны с авторизацией https://developer.teamwork.com/projects/introduction/welcome-to-the-teamwork-projects-api
Я хотел бы иметь возможность преобразовать эти онлайн-данные в базу данных sql, чтобы я мог создавать собственные отчеты для своего управления.
Iне могу найти ничего готового для этого.
Мне нужна стратегия для этого ..

Answer 1

Если вы знаете, как программировать, это должно быть довольно просто.

Например, в Python вы можете:

1. Создать схему SQL, которая сопоставляется сОбъекты данных JSON, которые вы хотите сохранить.Создайте его в базе данных по вашему выбору.
2. Используйте библиотеку Запросы , чтобы загрузить ресурсы JSON, если у вас их еще нет в вашей системе.
3. Конвертироватькаждый ресурс JSON для структуры данных Python, используя json.loads.
4. Подключитесь к серверу базы данных, используя соответствующую библиотеку Python для вашей базы данных.например, PyMySQL .
5. Итерировать по данным Python, вставляя строки в базу данных по мере необходимости.По сути, это отображение JSON в таблицы из процедурного шага 1.

Если вы не хотите делать это в коде, вы должны иметь возможность использовать инструмент ETL с открытым исходным кодом для выполненияэто преобразование.В LinkedIn мой коллега использовал Talend Data Integration для полноценной работы ETL очень похожего характера (JSON to SQL).Он очень любил это, и я уважал его мнение, поэтому я решил, что должен упомянуть об этом, хотя у меня самого нулевой опыт этого.