Ошибка арифметического переполнения при преобразовании чисел в тип данных числовой. EF Core - PullRequest
0 голосов
/ 06 мая 2019

Я пытаюсь выяснить, какой столбец или столбцы вызывает ошибку ниже.Что-то изменилось во входящих данных, передаваемых сторонней службой, и теперь это вызывает сбои при попытке сохранить их в SQL.

Microsoft.EntityFrameworkCore.DbUpdateException: при обновлении записей произошла ошибка,Смотрите внутреннее исключение для деталей.---> System.Data.SqlClient.SqlException: арифметическая ошибка переполнения, преобразующая числовой тип данных в числовой.Оператор был прерван.

Очень простой поток:

  • Чтение стороннего API как JSON
  • Использование newtonsoft для непосредственного преобразования в модель данных EFкласс
  • Добавить записи в БД и затем сохранить.

Структура данных определяется следующим образом:

[JsonObject(MemberSerialization.OptIn)]
public class RatDbAttributes
{
    [JsonProperty]
    [StringLength(50)]
    public string block_chain { get; set; } // varchar(50)
    [JsonProperty]
    [StringLength(50)]
    public string block_reduction { get; set; } // varchar(50)
    [JsonProperty]
    [StringLength(50)]
    public string block_reward { get; set; } // varchar(50)
    [JsonProperty]
    public double block_time { get; set; } // decimal(28,6)
    [JsonProperty]
    [StringLength(100)]
    public string consensus_method { get; set; } // varchar(100)
    [JsonProperty]
    public decimal decimals { get; set; } // decimal(28,6)
    [JsonProperty]
    [StringLength(50)]
    public string difficulty_retarget { get; set; } // varchar(50)
    [JsonProperty]
    [StringLength(200)]
    public string genesis_address { get; set; } // varchar(200)
    [JsonProperty]
    [StringLength(100)]
    public string hash_algorithm { get; set; } // varchar(100)
    [JsonProperty]
    [StringLength(50)]
    public string mineable { get; set; } // varchar(50)
    [JsonProperty]
    public long p2p_port { get; set; } // bigint
    [JsonProperty]
    public long rpc_port { get; set; } // bigint
    [JsonProperty]
    [StringLength(200)]
    public string token_role { get; set; } // varchar(200)
    [JsonProperty]
    public decimal @float { get; set; } // decimal(28,6)
    [JsonProperty]
    public decimal minted { get; set; } // decimal(28,6)
    [JsonProperty]
    public decimal total_supply { get; set; } // decimal(28,6)
    [JsonProperty]
    public decimal max_supply { get; set; } // decimal(28,6)
    [JsonProperty]
    [StringLength(133)]
    public string wallet { get; set; } // varchar(133)
    [JsonProperty]
    [NotMapped]
    public double genesis_timestamp { get; set; } // see below

    [JsonIgnore]
    public DateTime Genesis_TimeStamp { get { return genesis_timestamp.ToDateTime(); } set { genesis_timestamp = value.ToEpoch(); } }


    // Foregin Key Relationship (1-to-1) and Primary Key
    [JsonIgnore]
    public long TokenMasterId { get; set; }
    [JsonIgnore]
    [ForeignKey("TokenMasterId")]
    public RatDbTokenMaster TokenMaster { get; set; } //foreign key to Parent
}

Я дважды проверил genesis_timestampи это не проблема (преобразование double в datetime).

Пример входящего сбоя JSON:

{"block_chain":""
,"block_reduction":""
,"block_reward":"0"
,"block_time":0.0
,"consensus_method":""
,"decimals":0.0
,"difficulty_retarget":""
,"genesis_address":""
,"hash_algorithm":""
,"mineable":"False"
,"p2p_port":0
,"rpc_port":0
,"token_role":""
,"float":0.0
,"minted":0.0
,"total_supply":0.0
,"max_supply":0.0
,"wallet":""
,"genesis_timestamp":0.0
}

1 Ответ

0 голосов
/ 07 мая 2019

Я создал итеративное сохранение при сбое при сбое пакета. Поскольку я сделал соединение с базой данных «глобальным» для этого класса, я случайно столкнулся с проблемой. Я хотел бы добавить набор записей и попытаться сохранить его (всплывающие сообщения об ошибках), а затем попытаться перебирать все меньшие и меньшие партии, чтобы обнаружить записи (записи), вызывающие ошибку. Проблема была в том, что я не удалил нарушающий набор записей перед итерацией. Следовательно, каждая итерация переносила условие ошибки в соединении с БД!

    internal void IterateSave<TModel>(List<TModel> items) where TModel : class
    {
        using (LogContext.PushProperty("Data: Class", nameof(RatBaseCommandHandler)))
        using (LogContext.PushProperty("Data: Method", nameof(IterateSave)))
        using (LogContext.PushProperty("Data: Model", nameof(items)))
        {
            int max = items.Count;
            int skip = 0;
            int take = (max > 20) ? (max / 5) : 1;
            int lastTake = take;
            List<TModel> subItems = new List<TModel>();

            while (skip <= max)
            {
                try
                {
                    subItems = items.Skip(skip).Take(take).ToList();
                    Log.Verbose("Working {Max} | {Take} | {Skip}", max, take, skip);

                    skip += take;
                    _db.Set<TModel>().AddRange(subItems);
                    _db.SaveChanges();
                }
                catch (Exception ex)
                {
/***** Was not removing the faulty record/recordset! *****/
                    _db.Set<TModel>().RemoveRange(subItems);
/***** Was not removing the faulty record/recordset! *****/

                    if (take == 1 && skip < max)
                    {
                        Log.Error(ex, "Error saving specific record in this data batch! {GuiltyRecord}", JsonConvert.SerializeObject(subItems));
                        if (skip >= max - 1)
                        {
                            depth--;
                            return;
                        }
                    }
                    else if (take > 1)
                    {
                        Log.Warning("Something is wrong saving this data batch! {RecordCount}  Running a smaller batch to isolate.", take);
                        IterateSave(subItems);
                    }
                }
            }
        }
    }

С этими двумя добавленными строками (закомментированный раздел в catch) ошибка буквально выскочила!

Ошибка сохранения определенной записи в этом пакете данных! "[{\" Block_chain \ ": \" Эфириума \ "\ "block_reduction \": \ "\", \ "block_reward \": \ "0 \", \ "block_time \": 0,0, \" consensus_method \ ": \" \», \ "десятичные \": 18.0 \ "difficulty_retarget \": \ "\", \ "genesis_address \": \ "0x3520ba6a529b2504a28eebda47d255db73966694 \", \ "hash_algorithm \": \ "\", \ "извлекаемой \": \ "False \", \ "p2p_port \": 0, \ "rpc_port \": 0, \ "token_role \": \ "\", \ "поплавок \": 0,0, \ "чеканились \ ": 60000000000000000000000000.0, \" total_supply \ ": 60000000000000000000000000.0, \" max_supply \ ": 60000000000000000000000000.0, \" кошелек \ ": \" \ ", \" genesis_timestamp \ ": 0,0} возникновение: ошибка:. при обновлении записей. Смотрите внутреннее исключение для деталей. ---> System.Data.SqlClient.SqlException: арифметическая ошибка переполнения преобразование числовых в числовой тип данных. Заявление было прекращено.

Хотя C # может обрабатывать 60000000000000000000000000.0 в типе данных DECIMAL, наш SQL определен в DECIMAL (28,6). Из-за точности в 6 цифр остается только место для значения 10 ^ 22.

(Похоже, что SQL теперь может обрабатывать DECIMAL (38,6). Время играть с определениями столбцов без потери производственных данных.)

...