Обработка объектов JSON один за другим в потоке JSON во время потоковой передачи в ASP.NET WebAPI 2

Question

Я пытаюсь выполнить потоковую передачу большого файла JSON и десериализовать элемент за элементом во время потоковой передачи.

Я использую этот тест https://raw.githubusercontent.com/ysharplanguage/FastJsonParser/master/JsonTest/TestData/fathers.json.txt.

Проблема в том, что я не получаюошибка, но мой код, похоже, не обрабатывает элементы по одному и даже не обрабатывает объекты JSON.

Я застрял и действительно не знаю, как реализовать часть, которая обрабатывает объект потока по объекту.

Это мой код:

using Newtonsoft.Json;
using System.Collections.Generic;
using System.IO;
using System.Net;
using System.Net.Http;
using System.Web.Http;
using System.Threading.Tasks;

namespace AMServices.Controllers
{
    public class FathersData
    {
        public Father[] fathers { get; set; }
    }

    public class Someone
    {
        public string name { get; set; }
    }

    public class Father : Someone
    {
        public int id { get; set; }
        public bool married { get; set; }
        // Lists...
        public List<Son> sons { get; set; }
        // ... or arrays for collections, that's fine:
        public Daughter[] daughters { get; set; }
    }

    public class Child : Someone
    {
        public int age { get; set; }
    }

    public class Son : Child
    {
    }

    public class Daughter : Child
    {
        public string maidenName { get; set; }
    }

    public class StreamerController : ApiController
    {
        static readonly JsonSerializer _serializer = new JsonSerializer();
        static readonly HttpClient _client = new HttpClient();

        [HttpPost]
        [Route("streamer/stream")]
        public async Task<IHttpActionResult> stream()
        {
            string apiUrl = "https://raw.githubusercontent.com/ysharplanguage/FastJsonParser/master/JsonTest/TestData/fathers.json.txt";

            using (var stream = await _client.GetStreamAsync(apiUrl).ConfigureAwait(false))
            using (var reader = new StreamReader(stream))
            using (var json = new JsonTextReader(reader))
            {
                if (json == null)
                    StatusCode(HttpStatusCode.InternalServerError);

                JsonSerializer serializer = new JsonSerializer();

                Father f = serializer.Deserialize<Father>(json);
                System.Diagnostics.Debug.WriteLine(f.name);    
            }

            return StatusCode(HttpStatusCode.OK);
        }
    }
}

Обновление

Я изменил using (var json = new JsonTextReader(reader)) на

while (json.Read())
{
    if (json.TokenType == JsonToken.StartObject)
    {
        JObject objX = JObject.Load(json);
        Father f = objX.ToObject<Father>();

        System.Diagnostics.Debug.WriteLine("Name -> " + f.name);
    }
}

Какизменить, что я могу передавать и во время этого процесса элемент за элементом?

Answer 1

Async Enumerable недоступен, но вы можете использовать систему обратного вызова. В следующем примере я оберну логику десериализации в классе, который выставит событие (FatherReaded).

async Task Main()
{
    await stream();
}

// Define other methods and classes here
public class FathersData
{
    public Father[] Fathers { get; set; }
}

public class Someone
{
    public string Name { get; set; }
}

public class Father : Someone
{
    public int Id { get; set; }
    public bool Married { get; set; }
    // Lists...
    public List<Son> Sons { get; set; }
    // ... or arrays for collections, that's fine:
    public Daughter[] Daughters { get; set; }
}

public class Child : Someone
{
    public int age { get; set; }
}

public class Son : Child
{
}

public class Daughter : Child
{
    public string maidenName { get; set; }
}

public async Task stream()
{

    var fatherReader = new FatherReader();
    fatherReader.FatherReaded += (s, f) => {
        //f.name.Dump();
        System.Diagnostics.Debug.WriteLine(f.Name);
    };

    string apiUrl = "https://raw.githubusercontent.com/ysharplanguage/FastJsonParser/master/JsonTest/TestData/fathers.json.txt";

    using (var client = new HttpClient())
    using (var stream = await client.GetStreamAsync(apiUrl).ConfigureAwait(false))
    {
        fatherReader.Read(stream);
    }
}

public class FatherReader
{
    public event System.EventHandler<Father> FatherReaded;

    public FatherReader()
    {

    }

    private void OnFatherReaded(Father father){
        FatherReaded?.Invoke(this, father);
    }

    public void Read(Stream stream)
    {
        using (var reader = new StreamReader(stream))
        using (var jsonReader = new JsonTextReader(reader))
        {
            JsonSerializer serializer = new JsonSerializer();

            jsonReader.Read(); // Skip the first StartObject token

            while (jsonReader.Read())
            {
                if (jsonReader.TokenType == JsonToken.StartObject)
                {
                    var father = serializer.Deserialize(jsonReader, typeof(Father));
                    OnFatherReaded((Father)father);
                }
            }
        }
    }
}

То же самое, но с наблюдаемым (Rx). Метод Dump является сокращением от Console.WriteLine(this.ToString)

public async Task stream()
{
    var fatherReader = new FatherReader();
    var observable = fatherReader.Observable;

    // Here you can chain many operator like Linq (filtre, transforme, ...)
    observable = observable
        .Where(f => f.Name.StartsWith("J"));

    observable.Subscribe(f => f.Name.Dump(), e => e.ToString().Dump());

    string apiUrl = "https://raw.githubusercontent.com/ysharplanguage/FastJsonParser/master/JsonTest/TestData/fathers.json.txt";

    using (var client = new HttpClient())
    using (var stream = await client.GetStreamAsync(apiUrl).ConfigureAwait(false))
    {
        fatherReader.Read(stream);
    }
}

public class FatherReader
{
    private Subject<Father> _observable = new Subject<Father>();
    public IObservable<Father> Observable => _observable.AsObservable();

    public FatherReader()
    {
    }

    private void OnFatherReaded(Father father)
    {
        _observable.OnNext(father);
    }

    public void Read(Stream stream)
    {
        try
        {
            using (var reader = new StreamReader(stream))
            using (var jsonReader = new JsonTextReader(reader))
            {
                JsonSerializer serializer = new JsonSerializer();

                jsonReader.Read(); // Skip the first StartObject token

                while (jsonReader.Read())
                {
                    if (jsonReader.TokenType == JsonToken.StartObject)
                    {
                        try
                        {
                            var father = serializer.Deserialize(jsonReader, typeof(Father));
                            OnFatherReaded((Father)father);
                        }
                        catch (Exception ex)
                        {
                            _observable.OnError(ex);
                        }
                    }
                }
            }
        }
        catch (Exception ex)
        {
            _observable.OnError(ex);
        }

        _observable.OnCompleted();
    }
}

Answer 2

Вы можете попытаться добавить RootObject и содержать свойство List<Father> в качестве объекта десериализации, поскольку ключ JSON данных URL 100 * * содержит массив, а не объект.

public class RootObject
{
    public List<Father> fathers { get; set; }
}

Используйте API, как это.

public class StreamerController : ApiController
{
    static readonly JsonSerializer _serializer = new JsonSerializer();
    static readonly HttpClient _client = new HttpClient();

    [HttpPost]
    [Route("streamer/stream")]
    public async Task<IHttpActionResult> stream()
    {
        string apiUrl = "https://raw.githubusercontent.com/ysharplanguage/FastJsonParser/master/JsonTest/TestData/fathers.json.txt";

        using (var stream = await _client.GetStreamAsync(apiUrl).ConfigureAwait(false))
        using (var reader = new StreamReader(stream))
        using (var json = new JsonTextReader(reader))
        {
            if (json == null)
                StatusCode(HttpStatusCode.InternalServerError);

            JsonSerializer serializer = new JsonSerializer();

            RootObject f = serializer.Deserialize<RootObject>(json);  
        }

        return StatusCode(HttpStatusCode.OK);
    }
}