Невозможно проанализировать список блоков Json в U-SQL - PullRequest
Новая
       66

Невозможно проанализировать список блоков Json в U-SQL

0 голосов
/ 21 декабря 2018

У меня есть файл со списком блоков json, и я застрял с обработкой / чтением их в U-Sql и записью в текстовый файл. 

{
    "id": "0001",
    "type": "donut",
    "name": "Cake",
    "ppu": 0.55,
    "batters":
        {
            "batter":
                [
                    { "id": "1001", "type": "Regular" },
                    { "id": "1002", "type": "Chocolate" },
                    { "id": "1003", "type": "Blueberry" },
                    { "id": "1004", "type": "Devil's Food" }
                ]
        },
    "topping":
        [
            { "id": "5001", "type": "None" },
            { "id": "5002", "type": "Glazed" },
            { "id": "5005", "type": "Sugar" },
            { "id": "5007", "type": "Powdered Sugar" },
            { "id": "5006", "type": "Chocolate with Sprinkles" },
            { "id": "5003", "type": "Chocolate" },
            { "id": "5004", "type": "Maple" }
        ]
}
{
    "id": "0002",
    "type": "nut",
    "name": "ake",
    "ppu": 1.55,
    "batters":
        {
            "batter":
                [
                    { "id": "1001", "type": "Regular" },
                    { "id": "1002", "type": "Chocolate" },
                    { "id": "1003", "type": "Blueberry" },
                    { "id": "1004", "type": "Devil's Food" }
                ]
        },
    "topping":
        [
            { "id": "5001", "type": "None" },
            { "id": "5002", "type": "Glazed" },
            { "id": "5005", "type": "Sugar" },
            { "id": "5007", "type": "Powdered Sugar" },
            { "id": "5006", "type": "Chocolate with Sprinkles" },
            { "id": "5003", "type": "Chocolate" },
            { "id": "5004", "type": "Maple" }
        ]
}

{
    "id": "0003",
    "type": "test",
    "name": "ake",
    "ppu": 1.55,
    "batters":
        {
            "batter":
                [

                ]
        },
    "topping":
        [

            { "id": "5003", "type": "Chocolate" },
            { "id": "5004", "type": "Maple" }
        ]
}

Может кто-нибудь помочь мне в этом. 

REFERENCE ASSEMBLY [Newtonsoft.Json];
 REFERENCE ASSEMBLY [Microsoft.Analytics.Samples.Formats];

DECLARE @Full_Path string = @"C:\Users\test\Desktop\File\JsonTest.json";

USING [Microsoft.Analytics.Samples.Formats];

@RawExtract = 
    EXTRACT 
        [RawString] string

    FROM
        @Full_Path
    USING 
        Extractors.Text(delimiter:'\n', quoting : false);

@ParsedJSONLines =
    SELECT JsonFunctions.JsonTuple([RawString]) AS JSONLine

    FROM @RawExtract;


@StagedData =
    SELECT 
        JSONLine["id"] AS Id,
        JSONLine["name"] AS Name,
        JSONLine["type"] AS Type,
        JSONLine["ppu"] AS PPU,
JSONLine["batters"] AS Batter
    FROM 
        @ParsedJSONLines;

DECLARE @Output_Path string = @"C:\Users\Test\Desktop\File\Test2.csv";

OUTPUT @StagedData
TO @Output_Path 
USING Outputters.Csv();

Получаю ошибку при вычислении выражения. 

Error while evaluating expression JsonFunctions.JsonTuple(RawString)

1 Ответ

0 голосов
/ 10 января 2019

Вы не можете использовать Text Extraxtor для извлечения Json, если только вы не используете Json Lines.

Использование экстрактора разделит JSON, и вы получите ошибку.

Используйте JsonExtractor вместо Textэкстрактор.

https://github.com/Azure/usql/blob/master/Examples/DataFormats/Microsoft.Analytics.Samples.Formats/Json/JsonExtractor.cs

...