Azure Data Factory CSV с двойными кавычками

Question

У меня есть конвейер, который получает файл CSV, размещенный на FTP. Это разделено запятой с идентификаторами двойной кавычки. Проблема существует, когда строка заключена в двойные кавычки, но сама строка содержит двойные кавычки.

пример строки: "Spring Sale" this year.

Как это выглядит в csv (за ним следуют два пустых столбца):

"","""Spring Sale"" this year",""

SSIS справляется с этим, но Data Factory хочет преобразовать его в дополнительный столбец, который не разделен запятой. Я удалил лишние кавычки в этой строке, и она отлично работает.

Есть ли способ обойти это, кроме изменения источника?

Answer 1

Я получил это для работы, используя Escape character, заданный как кавычка (") с задачей копирования фабрики данных Azure.Снимок экрана:

Это основано на файле согласно вашей спецификации:

"","""Spring Sale"" this year",""

и также работал как при вставке в таблицу базы данных SQL Azure.Пример JSON:

{
    "name": "DelimitedText1",
    "properties": {
        "linkedServiceName": {
            "referenceName": "linkedService2",
            "type": "LinkedServiceReference"
        },
        "type": "DelimitedText",
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "fileName": "quotes.txt",
                "container": "someContainer"
            },
            "columnDelimiter": ",",
            "escapeChar": "\"",
            "quoteChar": "\""
        },
        "schema": [
            {
                "name": "Prop_0",
                "type": "String"
            },
            {
                "name": "Prop_1",
                "type": "String"
            },
            {
                "name": "Prop_2",
                "type": "String"
            }
        ]
    }
}

Возможно, файл примера слишком прост, но он работал для меня в этой конфигурации.

Альтернативно, просто используйте SSIS и разместите его в фабрике данных.