Импорт простого Json в таблицу SQL через Azure Datafactory V2

Question

Я хочу скопировать файлы Daily JSON из большого двоичного объекта Azure Datalake V2 в базу данных Azure Sql. Таблица

- Простая структура кода JSON

{
    "EmpRec": [{
            "PersNo": 5553345,
            "FirstName": "David",
            "LastName": "Bishop",
            "ContrType": "Permanent",
            "Age": 45,
            "Length": 5,
            "Wsr": "1001WK01 ",
            "WorkSchedule": "Office Workers ",
            "OctTHome": "35,12",
            "SeptTHome": "50,40",
            "AugTHome": "10,0",
            "Site": "Home Depot",
            "SDate": "2012-04-17 ",
            "EDate": "2016-04-17 ",
            "Status": "Active",
            "Group": "Citizen",
            "Subarea": "Citizen",
            "SubGroup": "Citizen",
            "Position": "Driver",
            "Organization": "Loading RD"
        }, {
            "PersNo": 5553346,
            "FirstName": "Norris",
            "LastName": "OFdachuck",
            "ContrType": "Permanent",
            "Age": 42,
            "Length": 2,
            "Wsr": "1001WK012",
            "WorkSchedule": "Office Workers ",
            "OctTHome": "66,35",
            "SeptTHome": "72,32",
            "AugTHome": "68,02",
            "Site": "Normandy",
            "SDate": "2012-04-17 ",
            "EDate": "2016-04-17 ",
            "Status": "Active",
            "Group": "Citizen",
            "Subarea": "Citizen",
            "SubGroup": "Citizen",
            "Position": "Driver",
            "Organization": "Loading RD"
        }, {
            "PersNo": 5553347,
            "FirstName": "List",
            "LastName": "Forbes",
            "ContrType": "Permanent",
            "Age": 30,
            "Length": 1,
            "Wsr": "1001WK011",
            "WorkSchedule": "Office Workers ",
            "OctTHome": "35,12",
            "SeptTHome": "68,02",
            "AugTHome": "66,31",
            "Site": "Normandy",
            "SDate": "2012-04-17 ",
            "EDate": "2016-04-17 ",
            "Status": "Active",
            "Group": "Citizen",
            "Subarea": "Citizen",
            "SubGroup": "Citizen",
            "Position": "Driver",
            "Organization": "Loading RD"
        }, {
            "PersNo": 5553348,
            "FirstName": "Childs",
            "LastName": "Play",
            "ContrType": "Delivery",
            "Age": 25,
            "Length": 3,
            "Wsr": "1001WK10",
            "WorkSchedule": "Office Workers ",
            "OctTHome": "Office Workers ",
            "SeptTHome": "50,40",
            "AugTHome": "10,0",
            "Site": "Balamb Garden",
            "SDate": "2012-04-17 ",
            "EDate": "2016-04-17 ",
            "Status": "Active",
            "Group": "Citizen",
            "Subarea": "Citizen",
            "SubGroup": "Citizen",
            "Position": "Driver",
            "Organization": "Loading RD"
        }, {
            "PersNo": 5553349,
            "FirstName": "Rob",
            "LastName": "Black",
            "ContrType": "Permanent",
            "Age": 28,
            "Length": 10,
            "Wsr": "1001WK05",
            "WorkSchedule": "Packing",
            "OctTHome": "66,35",
            "SeptTHome": "72,32",
            "AugTHome": "68,02",
            "Site": "Fisherman's Horizon",
            "SDate": "2012-04-17 ",
            "EDate": "2016-04-17 ",
            "Status": "Active",
            "Group": "Citizen",
            "Subarea": "Citizen",
            "SubGroup": "Citizen",
            "Position": "Driver",
            "Organization": "Loading RD"
        }
    ]

Ожидается загрузка 5 записей, нозагружается только первая запись. Есть ли хорошие уроки по загрузке JSON в SQL? Может ли ADFV2 справиться с этим или я должен просто вернуться к OPENJSON?

Answer 1

Json - это поддерживаемый формат файла, вам необходимо создать набор данных и правильно его настроить. Не забудьте использовать кнопку «Предварительный просмотр данных», чтобы увидеть, работают ли конфигурации перед публикацией конвейера и его запуском.

Ссылка на документ: https://docs.microsoft.com/en-us/azure/data-factory/format-json

Надеюсь, это помогло!

Answer 2

, поэтому мне удалось извлечь некоторые данные Azure SQL в JSON, и вот предостережение. JSON, как и XML, имеет несколько структур. Убедитесь, что ваш JSON находится в самой плоской форме для импорта и экспорта данных ADFV2.

Предполагая, что JSON справа может потенциально загружать несколько таблиц, простоне уверен, что ADFV2 может скопировать любой формат JSON в таблицы базы данных SQL Azure.