Как реализовать скрипт Pyspark для усечения таблиц и вставки данных из файла JSON в базу данных PostgreSQL? - PullRequest
Новая
       4

Как реализовать скрипт Pyspark для усечения таблиц и вставки данных из файла JSON в базу данных PostgreSQL?

0 голосов
/ 20 сентября 2019

У меня есть входной файл JSON: 

{
    "table_addresses": [
        {"id": 123, "firstname": "Mark", "lastname": "Zador", "address1": "via garibaldi 99", "address2": "", "city": "Rome", "zipcode": "00100"},
        {"id": 456, "firstname": "Kate","lastname": "Jess", "address1": "Via matteotti 99", "address2": "", "city": "Rome","zipcode": "00100"}
                  ],
    "table_product": [
        {"id": 1, "product_type": "type_X", "advisor": "N"},
        {"id": 2, "product_type": "type_Y", "advisor": "S"}
                  ]
}

Используя Pyspark, я должен написать скрипт, который должен:

  • усекать таблицы 'table_addresses' и 'table_product'ранее созданный на базе данных postgreSQL. &
  • Считайте json и вставьте данные в каждую таблицу ('table_addresses' и 'table_product') соответственно.

Заранее благодарен за любую помощь!

...