Я был бы признателен, если бы некоторые эксперты по SQL могли взглянуть на этот скрипт и проверить, будет ли он работать или может быть улучшен в любом случае (производительность, простота и т. Д.). Итак, учитывая следующее:
Leads {
LeadId INT,
SourceId TINYINT,
PersonId INT,
PhoneId INT,
EmailId INT,
AddressId INT,
ImporterId SMALLINT,
ImportedDateTime DATETIME2(7)
}
Duplicates {
DuplicateId INT,
SourceId TINYINT,
LeadId INT,
ImporterId SMALLINT,
DuplicatedDateTime DATETIME2(7)
}
Как будет работать этот скрипт:
-- Outside variables provided as part of a stored procedure
DECLARE @SourceId TINYINT;
DECLARE @ImporterId SMALLINT;
PRINT 'Deleting the CSVTemp table if it exists';
IF ((SELECT CASE WHEN OBJECT_ID('CSVTemp') IS NOT NULL THEN 1 ELSE 0 END) = 1)
BEGIN
DROP TABLE [CSVTemp];
END
PRINT 'Creating the CSVTemp table';
CREATE TABLE [CSVTemp](
[FirstName] NVARCHAR(48),
[LastName] NVARCHAR(48),
[Phone] BIGINT,
[Email] VARCHAR(96),
[Street] VARCHAR(64),
[Zip] INT
);
PRINT 'Performing a BULK insert into CSVTemp';
BULK INSERT [CSVTemp] FROM '{File}.csv' WITH (FIELDTERMINATOR = ',', ROWTERMINATOR = '\n');
PRINT 'Adding IDENTITY column to CSVTemp';
ALTER TABLE [CSVTemp] ADD [Id] INT IDENTITY(1,1) NOT NULL;
PRINT 'Adding PK constraint to CSVTemp';
ALTER TABLE [CSVTemp] ADD CONSTRAINT [PK_CSVTemp] PRIMARY KEY CLUSTERED(
[Id] ASC
) WITH(
PAD_INDEX = OFF,
STATISTICS_NORECOMPUTE = OFF,
IGNORE_DUP_KEY = OFF,
ALLOW_ROW_LOCKS = ON,
ALLOW_PAGE_LOCKS = ON
) ON [PRIMARY];
PRINT 'Counting CSVTemp rows';
DECLARE @Count INT = (SELECT COUNT(1) FROM [CSVTemp]);
PRINT 'Declaring internal variables';
DECLARE @I INT = 0;
PRINT 'Looping through rows in CSVTemp';
WHILE (@I < (@Count + 1))
BEGIN
BEGIN TRANSACTION
DECLARE @FirstName NVARCHAR(48);
DECLARE @LastName NVARCHAR(48);
DECLARE @Phone BIGINT;
DECLARE @Email VARCHAR(96);
DECLARE @Street VARCHAR(64);
DECLARE @Zip INT;
SELECT @FirstName = [FirstName],
@LastName = [LastName],
@Phone = [Phone],
@Email = [Email],
@Street = [Street],
@Zip = [Zip] FROM [CSVTemp] WHERE ([Id] = @I);
DECLARE @LeadId INT = (
SELECT [Leads].[LeadId]
FROM [People].[Person]
JOIN [Management].[Leads] ON ([Leads].[PersonId] = [Person].[PersonId])
JOIN [Communication].[Phones] ON ([Leads].[PhoneId] = [Phones].[PhoneId])
WHERE (([Person].[FirstName] LIKE @FirstName) OR ([Person].[LastName] LIKE @LastName))
AND ([Phones].[PhoneId] = @Phone)
);
IF (@LeadId IS NOT NULL)
BEGIN
INSERT INTO [Management].[Duplicates]([SourceId], [LeadId], [ImporterId]) VALUES(@SourceId, @LeadId, @ImporterId);
END
ELSE
BEGIN
INSERT INTO [People].[Person]([FirstName], [LastName]) VALUES(@FirstName, @LastName);
DECLARE @PersonId INT = @@IDENTITY;
INSERT INTO [Communication].[Phones]([PhoneTypeId], [Number]) VALUES(6, @Phone);
DECLARE @PhoneId INT = @@IDENTITY;
INSERT INTO [Communication].[Emails]([Address]) VALUES(@Email);
DECLARE @EmailId INT = @@IDENTITY;
INSERT INTO [Location].[Addresses]([PostalCode], [Street]) VALUES(@Zip, @Street);
DECLARE @AddressId INT = @@IDENTITY;
INSERT INTO [Management].[Leads]([SourceId], [PersonId], [PhoneId], [EmailId], [AddressId], [ImporterId]) VALUES(@SourceId, @PersonId, @PhoneId, @EmailId, @AddressId, @ImporterId);
END
COMMIT
SET @I = (@I + 1);
END
PRINT 'Deleting CSVTemp table';
DROP TABLE [CSVTemp];
UPDATE
@ Уилл / @ Митч, я не знаю, все ли еще, ребята, но я закончил работу над сценарием, преобразовав цикл WHILE для работы с CURSOR. Я протестировал скрипт, просматривая строки по 10,5 тыс., И это заняло 3-5 секунд, что меня устраивает. К сожалению, я думал, что я полностью понял, что @Will говорил о наборах, но я не мог придумать способ улучшить это, поэтому я оставлю это как есть. Если кто-то захочет дать мне пример сценария о том, о чем говорил @Will, я был бы признателен, если нет, то спасибо @Will и @Mitch за помощь.
В любом случае, вот обновленный цикл WHILE, который теперь использует CURSOR.
DECLARE @Id INT = 0;
DECLARE C1 CURSOR READ_ONLY FOR (SELECT [Id] FROM [CSVTemp]);
OPEN C1;
FETCH NEXT FROM C1 INTO @Id;
WHILE (@@FETCH_STATUS = 0)
BEGIN
BEGIN TRANSACTION
DECLARE @FirstName NVARCHAR(48);
DECLARE @LastName NVARCHAR(48);
DECLARE @Phone BIGINT;
DECLARE @Email VARCHAR(96);
DECLARE @Street VARCHAR(64);
DECLARE @Zip INT;
SELECT @FirstName = [FirstName],
@LastName = [LastName],
@Phone = [Phone],
@Email = [Email],
@Street = [Street],
@Zip = [Zip] FROM [CSVTemp] WHERE ([Id] = @Id);
DECLARE @LeadId INT = (
SELECT [Leads].[LeadId]
FROM [People].[Person]
JOIN [Management].[Leads] ON ([Leads].[PersonId] = [Person].[PersonId])
JOIN [Communication].[Phones] ON ([Leads].[PhoneId] = [Phones].[PhoneId])
WHERE (([Person].[FirstName] LIKE @FirstName) AND ([Person].[LastName] LIKE @LastName))
AND ([Phones].[Number] = @Phone)
);
IF (@LeadId IS NOT NULL)
BEGIN
INSERT INTO [Management].[Duplicates]([SourceId], [LeadId], [ImporterId]) VALUES (@SourceId, @LeadId, @ImporterId);
END
ELSE
BEGIN
INSERT INTO [People].[Person]([FirstName], [LastName]) VALUES(@FirstName, @LastName);
DECLARE @PersonId INT = SCOPE_IDENTITY();
INSERT INTO [Communication].[Phones]([PhoneTypeId], [Number]) VALUES(6, @Phone);
DECLARE @PhoneId INT = SCOPE_IDENTITY();
INSERT INTO [Communication].[Emails]([Address]) VALUES(@Email);
DECLARE @EmailId INT = SCOPE_IDENTITY();
INSERT INTO [Location].[Addresses]([PostalCode], [Street]) VALUES(@Zip, @Street);
DECLARE @AddressId INT = SCOPE_IDENTITY();
INSERT INTO [Management].[Leads]([SourceId], [PersonId], [PhoneId], [EmailId], [AddressId], [ImporterId]) VALUES(@SourceId, @PersonId, @PhoneId, @EmailId, @AddressId, @ImporterId);
END
COMMIT
FETCH NEXT FROM C1 INTO @Id;
END
CLOSE C1;
DEALLOCATE C1;