Разбор текста на несколько столбцов - PullRequest
3 голосов
/ 28 марта 2012

У меня есть фид, который заполняет одно текстовое поле в таблице статистикой. Мне нужно вытащить эти данные в несколько полей в другой таблице но странный формат затрудняет автоматический импорт.

Формат файла - простой текст, но пример приведен ниже:

08:34:52 Checksum=180957248,TicketType=6,InitialUserType=G,InitialUserID=520,CommunicationType=Incoming,Date=26-03-2012,Time=08:35:00,Service=ST,Duration=00:00:14,Cost=0.12

Фактически он состоит из:

[timestamp] [Field1 name]=[Field1 value],[Field2 name]=[Field2 value],[Field4 name]=[Field4 value]...[CR]

Все поля всегда в том же порядке, но не всегда присутствует . Всего столбцов может быть от 5 до 30.

Я попробовал приведенную ниже функцию, чтобы перевести ее, которая, кажется, работает в основном, но, кажется, случайно пропускает поля:

Анализ данных:

(SELECT [Data].[dbo].[GetFromTextString] ( 'Checksum=' ,',' ,RAWTEXT)) AS RowCheckSum,
(SELECT [Data].[dbo].[GetFromTextString] ( 'TicketType=' ,',' ,RAWTEXT)) AS TicketType,

И функция:

CREATE FUNCTION [dbo].[GetFromTextString]
-- Input start and end and return value.
   (@uniqueprefix VARCHAR(100),
    @commonsuffix VARCHAR(100),
    @datastring VARCHAR(MAX) )
RETURNS VARCHAR(MAX) -- Picked Value.
AS
BEGIN

    DECLARE @ADJLEN INT = LEN(@uniqueprefix)

    SET @datastring = @datastring + @commonsuffix

   RETURN ( 
    CASE WHEN (CHARINDEX(@uniqueprefix,@datastring) > 0) 
         AND (CHARINDEX(@uniqueprefix + @commonsuffix,@datastring) = 0)
    THEN SUBSTRING(@datastring, PATINDEX('%' + @uniqueprefix + '%',@datastring)+@ADJLEN, CHARINDEX(@commonsuffix,@datastring,PATINDEX('%' + @uniqueprefix + '%',@datastring))- PATINDEX('%' + @uniqueprefix + '%',@datastring)-@ADJLEN) ELSE NULL END
)
END

Может кто-нибудь предложить лучший / более чистый способ вырезания данных или кто-то может понять, почему эта формула пропускает строки?

Любая помощь очень ценится.

1 Ответ

3 голосов
/ 28 марта 2012

ПРИМЕЧАНИЕ. - ПЕРВЫЙ РЕШЕНИЕ - МУСОР Я оставил его по историческим причинам, но лучшее решение содержится ниже

Я даже не уверен, будет ли это быстрее, чем ваш нынешний метод, но я бы подошел к этому вопросу (если бы я был вынужден использовать решение только для SQL). Первое, что требуется, это табличная функция, которая будет выполнять функцию разделения:

CREATE FUNCTION dbo.Split (@TextToSplit VARCHAR(MAX), @Delimiter VARCHAR(MAX))
RETURNS @Values TABLE (Position INT IDENTITY(1, 1) NOT NULL, TextValues VARCHAR(MAX) NOT NULL)
AS
BEGIN
    WHILE CHARINDEX(@Delimiter, @TextToSplit) > 0
        BEGIN
            INSERT @Values 
            SELECT  LEFT(@TextToSplit, CHARINDEX(@Delimiter, @TextToSplit) - 1)
            SET @TextToSplit = SUBSTRING(@TextToSplit, CHARINDEX(@Delimiter, @TextToSplit) + 1, LEN(@TextToSplit))

        END
        INSERT @Values VALUES (@TextToSplit) 
    RETURN
END

В моем примере я работаю с временной таблицей @Worklist, возможно, вам придется соответствующим образом адаптировать свою или вы можете просто вставить соответствующие данные в @Worklist, где я использовал фиктивные данные:

DECLARE @WorkList TABLE (ID INT IDENTITY(1, 1) NOT NULL, TextField VARCHAR(MAX))
INSERT @WorkList
SELECT  '08:34:52 Checksum=180957248,TicketType=6,InitialUserType=G,InitialUserID=520,CommunicationType=Incoming,Date=26-03-2012,Time=08:35:00,Service=ST,Duration=00:00:14,Cost=0.12'
UNION
SELECT  '08:34:52 Checksum=180957249,TicketType=5,InitialUserType=H,InitialUserID=521,CommunicationType=Outgoing,Date=27-03-2012,Time=14:27:00,Service=ST,Duration=00:15:12,Cost=0.37'

Основной бит запроса выполняется здесь. Это довольно долго, поэтому я постарался прокомментировать это как можно лучше. Если требуется дальнейшее уточнение, я могу добавить больше комментариев.

DECLARE @Output TABLE (ID INT IDENTITY(1, 1) NOT NULL, TextField VARCHAR(MAX))
DECLARE @KeyPairs TABLE (WorkListID INT NOT NULL, KeyField VARCHAR(MAX), ValueField VARCHAR(MAX))

-- STORE TIMESTAMP DATA - THIS ASSUMES THE FIRST SPACE IS THE END OF THE TIMESTAMP
INSERT @KeyPairs 
SELECT  ID, 'TimeStamp', LEFT(TextField, CHARINDEX(' ', TextField))
FROM    @WorkList

-- CLEAR THE TIMESTAMP FROM THE WORKLIST
UPDATE  @WorkList
SET     TextField = SUBSTRING(TextField, CHARINDEX(' ', TextField) + 1, LEN(TextField))

DECLARE @ID INT = (SELECT MIN(ID) FROM @WorkList)
WHILE @ID IS NOT NULL 
    BEGIN
        -- SPLIT THE STRING FIRST INTO ALL THE PAIRS (e.g. Checksum=180957248)
        INSERT @Output
        SELECT  TextValues
        FROM    dbo.Split((SELECT TextField FROM @WorkList WHERE ID = @ID), ',')

        DECLARE @ID2 INT = (SELECT MIN(ID) FROM @Output)

        -- FOR ALL THE PAIRS SPLIT THEM INTO A KEY AND A VALUE (USING THE POSITION OF THE SPLIT FUNCTION)
        WHILE @ID2 IS NOT NULL
            BEGIN
                INSERT @KeyPairs
                SELECT  @ID, 
                        MAX(CASE WHEN Position = 1 THEN TextValues ELSE '' END),
                        MAX(CASE WHEN Position = 2 THEN TextValues ELSE '' END)
                FROM    dbo.Split((SELECT TextField FROM @Output WHERE ID = @ID2), '=')

                DELETE  @Output
                WHERE   ID = @ID2

                SET @ID2 = (SELECT MIN(ID) FROM @Output)
            END

        DELETE  @WorkList
        WHERE   ID = @ID

        SET @ID = (SELECT MIN(ID) FROM @WorkList)
    END

-- WE NOW HAVE A TABLE CONTAINING EAV MODEL STYLE DATA. THIS NEEDS TO BE PIVOTED INTO THE CORRECT FORMAT
-- ENSURE COLUMNS ARE LISTED IN THE ORDER YOU WANT THEM TO APPEAR
SELECT  *
FROM    @KeyPairs p
        PIVOT
        (   MAX(ValueField)
            FOR KeyField IN 
                (   [TimeStamp], [Checksum], [TicketType], [InitialUserType], 
                    [InitialUserID], [CommunicationType], [Date], [Time],
                    [Service], [Duration], [Cost]
                )
        ) AS PivotTable;

РЕДАКТИРОВАТЬ (4 ГОДА ПОЗЖЕ)

Недавнее возражение привлекло мое внимание, и я немного ненавижу себя за то, что опубликовал этот ответ в его нынешнем виде.

Гораздо лучшая функция разделения будет:

CREATE FUNCTION dbo.Split
(
   @List       NVARCHAR(MAX),
   @Delimiter  NVARCHAR(255)
)
RETURNS TABLE
WITH SCHEMABINDING AS
RETURN
(   WITH N1 AS (SELECT N FROM (VALUES (1),(1),(1),(1),(1),(1),(1),(1),(1), (1)) n (N)),
    N2(N) AS (SELECT 1 FROM N1 a CROSS JOIN N1 b),
    N3(N) AS (SELECT 1 FROM N2 a CROSS JOIN N2 b),
    N4(N) AS (SELECT 1 FROM N3 a CROSS JOIN N3 b),
    cteTally(N) AS 
    (   SELECT 0 UNION ALL 
        SELECT TOP (DATALENGTH(ISNULL(@List,1))) ROW_NUMBER() OVER (ORDER BY (SELECT NULL)) 
        FROM n4
    ),
    cteStart(N1) AS 
    (   SELECT t.N+1 
        FROM cteTally t
        WHERE (SUBSTRING(@List,t.N,1) = @Delimiter OR t.N = 0)
    )
    SELECT Item = SUBSTRING(@List, s.N1, ISNULL(NULLIF(CHARINDEX(@Delimiter,@List,s.N1),0)-s.N1,8000)), 
            Position = s.N1,
            ItemNumber = ROW_NUMBER() OVER(ORDER BY s.N1)
    FROM cteStart s
);

Тогда вообще нет необходимости в зацикливании, у вас просто есть правильное решение, основанное на множестве, дважды вызывая функцию split для получения набора данных в стиле EAV:

DECLARE @WorkList TABLE (ID INT IDENTITY(1, 1) NOT NULL, TextField VARCHAR(MAX))
INSERT @WorkList
SELECT  '08:34:52 Checksum=180957248,TicketType=6,InitialUserType=G,InitialUserID=520,CommunicationType=Incoming,Date=26-03-2012,Time=08:35:00,Service=ST,Duration=00:00:14,Cost=0.12'
UNION
SELECT  '08:34:52 Checksum=180957249,TicketType=5,InitialUserType=H,InitialUserID=521,CommunicationType=Outgoing,Date=27-03-2012,Time=14:27:00,Service=ST,Duration=00:15:12,Cost=0.37';

WITH KeyPairs AS
(   SELECT  w.ID, 
            [Timestamp] = LEFT(w.TextField, CHARINDEX(' ', w.TextField)),
            KeyField = MAX(CASE WHEN v.ItemNumber = 1 THEN v.Item END),
            ValueField = MAX(CASE WHEN v.ItemNumber = 2 THEN v.Item END)
    FROM    @WorkList AS w
            CROSS APPLY dbo.Split(SUBSTRING(TextField, CHARINDEX(' ', TextField) + 1, LEN(TextField)), ',') AS kp
            CROSS APPLY dbo.Split(kp.Item, '=') AS v
    GROUP BY w.ID, kp.ItemNumber,w.TextField
)
SELECT  *
FROM   KeyPairs AS kp
        PIVOT
        (   MAX(ValueField)
            FOR KeyField IN 
                (   [Checksum], [TicketType], [InitialUserType], 
                    [InitialUserID], [CommunicationType], [Date], [Time],
                    [Service], [Duration], [Cost]
                )
        ) AS pvt;
...