Как я могу использовать Node для заполнения базы данных MySQL из каталога JSON объектов? - PullRequest
Новая
       29

Как я могу использовать Node для заполнения базы данных MySQL из каталога JSON объектов?

0 голосов
/ 09 февраля 2020

У меня есть папка с 60000 JSON файлами, которые я скачал для проекта вокруг Ebooks. Формат как ниже, с объектом в каждом в отдельном файле. Конечный результат - я хочу заполнить базу данных MySQL из объекта в каждом файле. Я буду использовать Node и обычно делаю это с помощью небольших запросов с массивами объектов, но я не привык к этому масштабу или данным, и не имею каждый объект в отдельном файле.

Как я могу это сделать? Разумно ли объединять в один большой массив объектов или есть лучший способ? 

{
  "GutenbergToken": "ebooks/14762",
  "Title": "Now or Never; Or, The Adventures of Bobby Bright: A Story for Young Folks",
  "Rights": "Public domain in the USA.",
  "DownloadCount": "6",
  "Publisher": "Project Gutenberg",
  "Issued": "2005-01-23",
  "Creators": [
    {
      "GutenbergToken": "2009/agents/260",
      "Name": "Optic, Oliver",
      "Website": "browse/authors/a#a5655"
    }
  ],
  "Files": [
    {
      "Uri": "http://www.gutenberg.org/files/14762/14762.zip",
      "Modified": "2005-01-22T23:15:19"
    },
    {
      "Uri": "http://www.gutenberg.org/ebooks/14762.rdf",
      "Modified": "2018-06-14T05:17:23.814147"
    },
    {
      "Uri": "http://www.gutenberg.org/ebooks/14762.html.noimages",
      "Modified": "2017-10-08T02:06:44.821830"
    },
    {
      "Uri": "http://www.gutenberg.org/ebooks/14762.txt.utf-8",
      "Modified": "2017-10-08T02:06:44.388833"
    },
    {
      "Uri": "http://www.gutenberg.org/ebooks/14762.epub.noimages",
      "Modified": "2017-10-08T02:06:45.101782"
    },
    {
      "Uri": "http://www.gutenberg.org/ebooks/14762.html.images",
      "Modified": "2017-10-08T02:06:44.751791"
    },
    {
      "Uri": "http://www.gutenberg.org/ebooks/14762.epub.images",
      "Modified": "2017-10-08T02:06:44.987827"
    },
    {
      "Uri": "http://www.gutenberg.org/ebooks/14762.kindle.noimages",
      "Modified": "2017-10-08T02:06:47.651747"
    },
    {
      "Uri": "http://www.gutenberg.org/files/14762/14762.txt",
      "Modified": "2005-01-22T23:15:19"
    },
    {
      "Uri": "http://www.gutenberg.org/ebooks/14762.kindle.images",
      "Modified": "2017-10-08T02:06:46.384761"
    }
  ],
  "Subjects": [
    "Fishing -- Juvenile fiction",
    "Widows -- Juvenile fiction",
    "Book industries and trade -- Juvenile fiction",
    "Child labor -- Juvenile fiction",
    "Runaway children -- Juvenile fiction",
    "Theft -- Juvenile fiction",
    "Money -- Juvenile fiction",
    "Mothers and sons -- Juvenile fiction",
    "Children's stories",
    "PZ",
    "Maine -- Juvenile fiction",
    "Boston (Mass.) -- Juvenile fiction"
  ],
  "Bookshelves": [
    "Children's Fiction"
  ]
}```
...