Работа с большим количеством json данных более 700 тыс. В c# - PullRequest
0 голосов
/ 14 июля 2020

У нас есть отдельный инструмент для sh данных в elasticsearch. Инструмент работает нормально, когда записи с сервера SQL меньше или равны 100k.

Если JSON имеет более 100k записей, он выдает исключение памяти.

Is есть ли способ обрабатывать массовые записи более 100 КБ?

Пример кода:

SqlCommand cmd1 = new SqlCommand(SearchQuery, con);
SqlDataReader IndexReader = cmd1.ExecuteReader();
if (IndexReader.HasRows)
{
    DataTable IndexTable = new DataTable();
    IndexTable.Load(IndexReader);
    string Index_Push_data = Newtonsoft.Json.JsonConvert.SerializeObject(IndexTable).ToString();
    JArray IndexArray = JArray.Parse(Index_Push_data);
    int DataCount = IndexArray.Count;
}
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...