Массовая вставка Oracle через хранимую процедуру. занимает слишком много времени

Question

Я стараюсь эффективно выполнять массовые вставки / обновления из кода C # в базу данных Oracle. Если я сделал это по заявлению, то это не займет много времени.

Я использую ODP.NET В настоящее время вставка 6000 записей через ниже хранимую процедуру занимает 15 минут. Я должен использовать этот хранимый процесс, потому что он генерирует уникальный user_id.

Этот процесс выполняет автоматическую фиксацию? Есть ли какая-либо настройка автокоммитов, которую я должен отключить?

Пожалуйста, предложите способы сделать это эффективно.

 CREATE OR REPLACE
PROCEDURE sbx_staging_insert_user(client       IN varchar2,
                    username     IN varchar2,
                    comm_type    IN varchar2,
                    email_addr   IN varchar2,
                    buddy_name   IN varchar2,
                    --default_flag IN char,
                    user_id      OUT INT)

AS
BEGIN
select sbx_staging_user_id_seq.nextval into user_id from dual;
insert into sbx_staging_user
  (user_id,
   client,
   username,
   comm_type,
   email_addr,
   buddy_name,
   default_flag)
values
  (user_id,
   client,
   username,
   comm_type,
   email_addr,
   buddy_name,
  'Y');
   end sbx_staging_insert_user;

и код C #:

  cmd.Transaction = conn.BeginTransaction();

                        cmd.CommandType = CommandType.Text;

                        cmd.CommandText = "sbx_staging_insert_user";
                        cmd.CommandType = CommandType.StoredProcedure;

                        var userClientParam = new OracleParameter(":client", OracleDbType.Varchar2);
                        var usernameParam = new OracleParameter(":username", OracleDbType.Varchar2);
                        var commTypeParam = new OracleParameter(":comm_type", OracleDbType.Varchar2);
                        var defaultParam = new OracleParameter(":default_flag", OracleDbType.Char) { Size = 1};
                        var emailParam = new OracleParameter(":email_addr", OracleDbType.Varchar2) { IsNullable = true };
                        var buddyParam = new OracleParameter(":buddy_name", OracleDbType.Varchar2) { IsNullable = true };
                        var userIdParam = new OracleParameter(":user_id", OracleDbType.Int32) { Direction = ParameterDirection.Output };

                        cmd.Parameters.Add(userClientParam);
                        cmd.Parameters.Add(usernameParam);
                        cmd.Parameters.Add(commTypeParam);
                        //cmd.Parameters.Add(defaultParam);
                        cmd.Parameters.Add(emailParam);
                        cmd.Parameters.Add(buddyParam);
                        cmd.Parameters.Add(userIdParam);

                        var cuList = new List<string>(Users.Count);
                        var uList = new List<string>(Users.Count);
                        var ctList = new List<string>(Users.Count);
                        var dfList = new List<char>(Users.Count);
                        var eaList = new List<string>(Users.Count);
                        var bnList = new List<string>(Users.Count);
                        var uiList = new List<decimal>(Users.Count);

                        int loopCnt = 0;
                        foreach (var ud in Users)
                        {
                            cuList.Add(ud.User.Client);
                            uList.Add(ud.User.Username);
                            ctList.Add(ud.User.CommType);
                            dfList.Add(ud.User.Default ? 'Y' : 'N');
                            eaList.Add(ud.User.Email);
                            bnList.Add(ud.User.BuddyName);

                            uiList.Add(-1);
                        }

                        userClientParam.Value = cuList.ToArray();
                        usernameParam.Value = uList.ToArray();
                        commTypeParam.Value = ctList.ToArray();
                        //defaultParam.Value = dfList.ToArray();
                        emailParam.Value = eaList.ToArray();
                        buddyParam.Value = bnList.ToArray();
                        userIdParam.Value = uiList.ToArray();

                        cmd.ArrayBindCount = cuList.Count;//Users.Count;//
                        cmd.ExecuteNonQuery();
                        cmd.Transaction.Commit();

Answer 1

Может быть, вам следует перенести основную логику на plsql.
Смотрите пример здесь:
http://dotnetslackers.com/articles/ado_net/BulkOperationsUsingOracleDataProviderForNETODPNET.aspx

Answer 2

Попробуйте что-то вроде этого ( не проверено , сокращено для краткости):

public void insertRows()
{
 if (Users.Count > 0)
 {
  OracleTransaction trans=_conn.BeginTransaction();
  try
  {
   // create insert statement with bind vars
   Stringbuilder sb = new Stringbuilder();
   sb.Append("INSERT into sbx_staging_user(");
   sb.Append("client,");
   sb.Append("username,");
   sb.Append("user_id");
   sb.Append(") VALUES (");
   sb.Append(":client,");
   sb.Append(":username,");
   sb.Append("seq_user_id.nextval");
   sb.Append(") ");

   OracleCommand cmd = new OracleCommand(sb.ToString(), _conn);

   string[] ary_client = new string[Users.Count];
   string[] ary_username = new string[Users.Count];

   for (int i=0; i<Users.Count; i++)
   {
    User row=Users[i];
    ary_client[i]=row.client;
    ary_username[i]=row.username;
   }
   // prepare bind vars(bind in bulk using arrays)
   OracleParameter prm=new OracleParameter();
   cmd.Parameters.Clear();
   cmd.ArrayBindCount=Users.Count;
   cmd.BindByName=true;

   prm=new OracleParameter("client", OracleDbType.Varchar2); prm.Value=ary_client; cmd.Parameters.Add(prm);
   prm=new OracleParameter("username", OracleDbType.Varchar2); prm.Value=ary_username; cmd.Parameters.Add(prm);

   cmd.ExecuteNonQuery();
   trans.Commit();
   trans.Dispose();
  }
  catch {
   trans.Rollback();
   trans.Dispose();
   throw;
  }
 }
}