Избежание дубликатов во время вставки - PullRequest
Новая
       11

Избежание дубликатов во время вставки

0 голосов
/ 01 октября 2019

Я работаю над хранимой процедурой, которая в настоящее время создает нашу таблицу фактов каждый час. В настоящее время во время почасового обновления он усекает таблицу и каждый раз вставляет новые данные. Я пытаюсь изменить это, чтобы удалить только ненужные строки и добавить новые строки. Я получил часть удаления, но в настоящее время, поскольку столбец идентификатора (первичный ключ) создается после вставки, я не уверен, как избежать вставки дублирующих записей, что я сейчас и вижу.

В настоящее время хранимая процедура вставляет первичный ключ (ID) при вставке. Я взял запрос таблицы усечений и заменил его запросом удаления. Теперь мне нужно поработать над тем, чтобы избежать дублирования при вставке. 

   --INSERT DATA FROM TEMP TABLE TO FACTBP
   INSERT INTO dbo.FactBP
   SELECT 
   [SOURCE]
  ,[DC_ORDER_NUMBER]
  ,[CUSTOMER_PURCHASE_ORDER_ID]
  ,[BILL_TO]
  ,[CUSTOMER_MASTER_RECORD_TYPE]
  ,[SHIP_TO]
  ,[CUSTOMER_NAME]
  ,[SALES_ORDER]
  ,[ORDER_CARRIER]
  ,[CARRIER_SERVICE_ID]
  ,[CREATE_DATE]
  ,[CREATE_TIME]
  ,[ALLOCATION_DATE]
  ,[REQUESTED_SHIP_DATE]
  ,[ADJ_REQ_SHIP]
  ,[CANCEL_DATE]
  ,[DISPATCH_DATE]
  ,[RELEASED_DATE]
  ,[RELEASED_TIME]
  ,[PRIORITY_ORDER]
  ,[SHIPPING_LOAD_NUMBER]
  ,[ORDER_HDR_STATUS]
  ,[ORDER_STATUS]
  ,[DELIVERY_NUMBER]
  ,[DCMS_ORDER_TYPE]
  ,[ORDER_TYPE]
  ,[MATERIAL]
  ,[QUALITY]
  ,[MERCHANDISE_SIZE_1]
  ,[SPECIAL_PROCESS_CODE_1]
  ,[SPECIAL_PROCESS_CODE_2]
  ,[SPECIAL_PROCESS_CODE_3]
  ,[DIVISION]
  ,[DIVISION_DESC]
  ,[ORDER_QTY]
  ,[ORDER_SELECTED_QTY]
  ,[CARTON_PARCEL_ID]
  ,[CARTON_ID]
  ,[SHIP_DATE]
  ,[SHIP_TIME]
  ,[PACKED_DATE]
  ,[PACKED_TIME]
  ,[ADJ_PACKED_DATE]
  ,[FULL_CASE_PULL_STATUS]
  ,[CARRIER_ID]
  ,[TRAILER_ID]
  ,[WAVE_NUMBER]
  ,[DISPATCH_RELEASE_PRIORITY]
  ,[CARTON_TOTE_COUNT]
  ,[PICK_PACK_METHOD]
  ,[RELEASED_QTY]
  ,[SHIP_QTY]
  ,[MERCHANDISE_STYLE]
  ,[PICK_WAREHOUSE]
  ,[PICK_AREA]
  ,[PICK_ZONE]
  ,[PICK_AISLE]
  ,EST_DEL_DATE
  ,null
  --,[ID]
  FROM #TEMP_FACT
  --code for avoiding duplicates

   --CLEAR ALL DATA FROM FACTBP
   DELETE FROM dbo.FactBP
   WHERE SHIP_DATE < DATEADD(s,-1,DATEADD(mm, 
   DATEDIFF(m,0,GETDATE())-2,0)) and SHIP_DATE IS NOT NULL

1 Ответ

0 голосов
/ 01 октября 2019

Вам необходимо сравнить с натуральным ключом . Поскольку вы говорите о таблице фактов, естественным ключом, вероятно, является комбинация множества полей. Если мы предположим, что SOURCE и DC_ORDER_NUMBER составляют естественный ключ, это должно сработать: 

INSERT INTO dbo.FactBP

SELECT 
  t.[SOURCE]
, t.[DC_ORDER_NUMBER]
, t.[CUSTOMER_PURCHASE_ORDER_ID]
, t.[BILL_TO]
, t.[CUSTOMER_MASTER_RECORD_TYPE]
, t.[SHIP_TO]
, t.[CUSTOMER_NAME]
, t.[SALES_ORDER]
, t.[ORDER_CARRIER]
, t.[CARRIER_SERVICE_ID]
, t.[CREATE_DATE]
, t.[CREATE_TIME]
, t.[ALLOCATION_DATE]
, t.[REQUESTED_SHIP_DATE]
, t.[ADJ_REQ_SHIP]
, t.[CANCEL_DATE]
, t.[DISPATCH_DATE]
, t.[RELEASED_DATE]
, t.[RELEASED_TIME]
, t.[PRIORITY_ORDER]
, t.[SHIPPING_LOAD_NUMBER]
, t.[ORDER_HDR_STATUS]
, t.[ORDER_STATUS]
, t.[DELIVERY_NUMBER]
, t.[DCMS_ORDER_TYPE]
, t.[ORDER_TYPE]
, t.[MATERIAL]
, t.[QUALITY]
, t.[MERCHANDISE_SIZE_1]
, t.[SPECIAL_PROCESS_CODE_1]
, t.[SPECIAL_PROCESS_CODE_2]
, t.[SPECIAL_PROCESS_CODE_3]
, t.[DIVISION]
, t.[DIVISION_DESC]
, t.[ORDER_QTY]
, t.[ORDER_SELECTED_QTY]
, t.[CARTON_PARCEL_ID]
, t.[CARTON_ID]
, t.[SHIP_DATE]
, t.[SHIP_TIME]
, t.[PACKED_DATE]
, t.[PACKED_TIME]
, t.[ADJ_PACKED_DATE]
, t.[FULL_CASE_PULL_STATUS]
, t.[CARRIER_ID]
, t.[TRAILER_ID]
, t.[WAVE_NUMBER]
, t.[DISPATCH_RELEASE_PRIORITY]
, t.[CARTON_TOTE_COUNT]
, t.[PICK_PACK_METHOD]
, t.[RELEASED_QTY]
, t.[SHIP_QTY]
, t.[MERCHANDISE_STYLE]
, t.[PICK_WAREHOUSE]
, t.[PICK_AREA]
, t.[PICK_ZONE]
, t.[PICK_AISLE]
, t.EST_DEL_DATE
, null
--,[ID]

FROM #TEMP_FACT t
  left outer join dbo.FactBP f on f.[SOURCE] = t.[SOURCE]
                              and f.[DC_ORDER_NUMBER] = t.[DC_ORDER_NUMBER]

where f.[SOURCE] is null

Настройте объединение и предложение WHERE в соответствии с естественным ключом таблицы.

Youследует также еще раз взглянуть на ваш DELETE скрипт. Вы действительно хотите удалить все записи с SHIP_DATE < 2019-07-31 23:59:59.000? Или это должно быть <=? Может быть, это будет работать лучше (и проще): 

DELETE FROM dbo.FactBP
WHERE SHIP_DATE < cast(dateadd(day, 1, EOMONTH(getdate(), -3)) as datetime2)
  and SHIP_DATE IS NOT NULL
...