Я пишу инструмент ETL с использованием фабрики данных Azure и базы данных SQL Azure. Фабрика данных захватывает выходные данные потока данных сопоставления и вставляет его в столбец StatusMessage таблицы SQL Server (Audit.OperationsEventLog) в виде строки. Столбец StatusMessage имеет тип varchar (8000) и предназначен для хранения данных, отформатированных как допустимые json.
SELECT *
FROM Audit.OperationsEventLog lg
CROSS APPLY OPENJSON(lg.StatusMessage) dt
Когда я запрашиваю строку json из таблицы, используя запрос выше, он жалуется
Текст JSON неправильно отформатирован. Неожиданный символ "" "находится в позиции 382
Это двойная кавычка, окруженная двумя одинарными кавычками.
Я использовал JSONLint (http://jsonlint.com) для проверкичто строка json закодирована правильно.
Когда я копирую строку json из столбца StatusMessage в переменную varchar (8000), я могу проанализировать строку с помощью OPENJSON.
DECLARE @testjson varchar(8000) = '
{ "EventType": "DataFactoryPipelineRunActivity",
"DataFactoryName":"fa603ea7-f1bd-48c0-a690-73b92d12176c",
"DataFactoryPipelineName":"Import Blob Storage Account Key CSV file into generic SQL table using Data Flow Activity Logging to Target SQL Server",
"DataFactoryPipelineActivityName":"Copy Generic CSV Source to Generic SQL Sink",
"DataFactoryPipelineActivityOutput":"{runStatus:{computeAcquisitionDuration:316446,dsl: source() ~> ReadFromCSVInBlobStorage ReadFromCSVInBlobStorage derive() ~> EnrichWithDataFactoryMetadata EnrichWithDataFactoryMetadata sink() ~> WriteToTargetSqlTable,profile:{ReadFromCSVInBlobStorage:{computed:[],lineage:{},dropped:0,drifted:1,newer:1,total:1,updated:0},EnrichWithDataFactoryMetadata:{computed:[],lineage:{},dropped:0,drifted:1,newer:6,total:7,updated:0},WriteToTargetSqlTable:{computed:[],lineage:{__DataFactoryPipelineName:{mapped:false,from:[{source:EnrichWithDataFactoryMetadata,columns:[__DataFactoryPipelineName]}]},__DataFactoryPipelineRunId:{mapped:false,from:[{source:EnrichWithDataFactoryMetadata,columns:[__DataFactoryPipelineRunId]}]},id:{mapped:true,from:[{source:ReadFromCSVInBlobStorage,columns:[id]}]},__InsertDateTimeUTC:{mapped:false,from:[{source:EnrichWithDataFactoryMetadata,columns:[__InsertDateTimeUTC]}]},__DataFactoryName:{mapped:false,from:[{source:EnrichWithDataFactoryMetadata,columns:[__DataFactoryName]}]},__FileName:{mapped:false,from:[{source:EnrichWithDataFactoryMetadata,columns:[__FileName]}]},__StorageAccountName:{mapped:false,from:[{source:EnrichWithDataFactoryMetadata,columns:[__StorageAccountName]}]}},dropped:0,drifted:1,newer:0,total:7,updated:7}},metrics:{WriteToTargetSqlTable:{rowsWritten:4,sinkProcessingTime:1436,sources:{ReadFromCSVInBlobStorage:{rowsRead:4}},stages:[{stage:3,partitionTimes:[621],bytesWritten:0,bytesRead:24,streams:{WriteToTargetSqlTable:{type:sink,count:4,partitionCounts:[4],cached:false},EnrichWithDataFactoryMetadata:{type:derive,count:4,partitionCounts:[4],cached:false},ReadFromCSVInBlobStorage:{type:source,count:4,partitionCounts:[4],cached:false}},target:WriteToTargetSqlTable,time:811}]}}},effectiveIntegrationRuntime:DefaultIntegrationRuntime (East US)}",
"DataFactoryPipelineRunID":"63759585-4acb-48af-8536-ae953efdbbb0",
"DataFactoryPipelineTriggerName":"Manual",
"DataFactoryPipelineTriggerType":"Manual",
"DataFactoryPipelineTriggerTime":"2019-11-05T15:27:44.1568581Z",
"Parameters":{
"StorageAccountName":"fa603ea7",
"FileName":"0030_SourceData1.csv",
"TargetSQLServerName":"5a128a64-659d-4481-9440-4f377e30358c.database.windows.net",
"TargetSQLDatabaseName":"TargetDatabase",
"TargetSQLUsername":"demoadmin"
},
"InterimValues":{
"SchemaName":"utils",
"TableName":"vw_0030_SourceData1.csv-2019-11-05T15:27:57.643"
}
}'
SELECT *
FROM OPENJSON(@testjson)
SELECT *
FROM OPENJSON(@testjson) data
CROSS APPLY OPENJSON(data.value) moredata
WHERE data.type = 5
Проблема изолирована от «DataFactoryPipelineActivityOutput».
Фабрика данных создает строку json для вставки в столбец StatusMessage таблицы. Я удаляю все вхождения двойных кавычек в строке StatusMessage.
{
"EventDateTime":"@{utcNow()}",
"EventState":"Success",
"SourceName":"@{concat(pipeline().DataFactory, '/', pipeline().Pipeline, '/Copy Generic CSV Source to Generic SQL Sink')}",
"SourceType":"DataFactoryPipelineRunActivity",
"StatusMessage":"{
\"EventType\": \"DataFactoryPipelineRunActivity\",
\"DataFactoryName\":\"@{pipeline().DataFactory}\",
\"DataFactoryPipelineName\":\"@{pipeline().Pipeline}\",
\"DataFactoryPipelineActivityName\":\"Copy Generic CSV Source to Generic SQL Sink\",
\"DataFactoryPipelineActivityOutput\":\"@{replace(string(activity('Copy Generic CSV Source to Generic SQL Sink').output), '"', '')}\", \"DataFactoryPipelineRunID\":\"@{pipeline().RunID}\",
\"DataFactoryPipelineTriggerName\":\"@{pipeline().TriggerName}\",
\"DataFactoryPipelineTriggerType\":\"@{pipeline().TriggerType}\",
\"DataFactoryPipelineTriggerTime\":\"@{pipeline().TriggerTime}\",
\"Parameters\":{
\"StorageAccountName\":\"@{pipeline().parameters.StorageAccountName}\",
\"FileName\":\"@{pipeline().parameters.FileName}\",
\"TargetSQLServerName\":\"@{pipeline().parameters.TargetSQLServerName}\",
\"TargetSQLDatabaseName\":\"@{pipeline().parameters.TargetSQLDatabaseName}\",
\"TargetSQLUsername\":\"@{pipeline().parameters.TargetSQLUsername}\"
},
\"InterimValues\":{
\"SchemaName\":\"@{activity('Get Target View Schema and Name').output.firstRow.SchemaName}\",
\"TableName\":\"@{activity('Get Target View Schema and Name').output.firstRow.ViewName}\"
}
}"
}
Кто-нибудь может увидеть, что я делаю что-то не так, или это ошибка в OPENJSON? Я надеюсь, что сделал что-то глупое, и все, что мне нужно, это второй набор глаз