Странная проблема производительности: общие табличные выражения во встроенной пользовательской функции - PullRequest
13 голосов
/ 18 января 2010

Вот крутой вопрос для парней из SQL - кто-нибудь может подумать о причине, по которой первая из этих функций работает нормально, а вторая работает очень медленно?

Функция A - Обычно заканчивается через ~ 5 мс

CREATE FUNCTION dbo.GoodFunction
(
    @IDs UniqueIntTable READONLY
)
RETURNS TABLE
AS RETURN
    SELECT p.ID, p.Node, p.Name, p.Level
    FROM
    (
        SELECT DISTINCT a.Ancestor AS Node
        FROM Hierarchy h
        CROSS APPLY dbo.GetAncestors(h.Node.GetAncestor(1)) a
        WHERE h.ID IN (SELECT Value FROM @IDs)
    ) np
    INNER JOIN Hierarchy p
    ON p.Node = np.Node

Функция B - работает очень медленно - я сдался через 5 минут

CREATE FUNCTION dbo.BadFunction
(
    @IDs UniqueIntTable READONLY
)
RETURNS TABLE
AS RETURN
    WITH Ancestors_CTE AS
    (
        SELECT DISTINCT a.Ancestor AS Node
        FROM Hierarchy c
        CROSS APPLY dbo.GetAncestors(c.Node.GetAncestor(1)) a
        WHERE c.ID IN (SELECT Value FROM @IDs)
    )
    SELECT p.ID, p.Node, p.Name, p.Level
    FROM Ancestors_CTE ac
    INNER JOIN Hierarchy p
    ON p.Node = ac.Node

Ниже я объясню, что делает эта функция, но прежде чем углубиться в это, я хочу отметить, что я не думаю, что это важно, потому что, насколько я могу судить, эти две функции точно то же самое! Разница лишь в том, что один использует CTE, а другой - подзапрос; содержимое подзапроса в A и CTE в B идентичны .

В случае, если кто-то решит, что это имеет значение: Цель этой функции - просто выделить всех возможных предков (родитель, дедушка и т. Д.) Из произвольного числа мест в иерархии. Столбец Node - это hierarchyid, а dbo.GetAncestors - это функция CLR, которая просто идет по пути, она не делает никакого доступа к данным.

UniqueIntTable - это то, что он подразумевает - это определенный пользователем тип таблицы с одним столбцом, Value int NOT NULL PRIMARY KEY. Все, что здесь должно быть проиндексировано, индексируется - план выполнения функции A - это, по сути, всего два поиска индекса и совпадение хеша, как и должно быть с функцией B.

Некоторые странные аспекты этой странной проблемы:

  • Я даже не могу получить примерный план выполнения для простого запроса с использованием функции B. Похоже, что проблема производительности связана с компиляцией этого простого функция поиска.

  • Если я возьму «тело» из функции B и просто вставлю его во встроенный запрос, он будет работать нормально, с той же производительностью, что и функция A. Так что, похоже, проблема только в CTE внутри UDF или, наоборот, только с UDF, использующим CTE.

  • Загрузка процессора на одном ядре на тестовой машине резко возрастает до 100%, когда я пытаюсь запустить B. Кажется, что количество операций ввода-вывода невелико.

Я хочу просто проигнорировать это как ошибку SQL Server и использовать версию A, но я всегда стараюсь помнить Правило № 1 ( «ВЫБРАТЬ НЕ Сломано» ), и я ' Я обеспокоен тем, что хорошие результаты от функции A являются каким-то образом локализованной случайностью, что она "потерпит неудачу" так же, как B на другом сервере.

Есть идеи?


ОБНОВЛЕНИЕ - Сейчас я включаю полный автономный скрипт для воспроизведения.

Функция GetAncestors

[SqlFunction(FillRowMethodName = "FillAncestor", 
    TableDefinition = "Ancestor hierarchyid", IsDeterministic = true,
    IsPrecise = true, DataAccess = DataAccessKind.None)]
public static IEnumerable GetAncestors(SqlHierarchyId h)
{
    while (!h.IsNull)
    {
        yield return h;
        h = h.GetAncestor(1);
    }
}

Создание схемы

BEGIN TRAN

CREATE TABLE Hierarchy
(
    ID int NOT NULL IDENTITY(1, 1)
        CONSTRAINT PK_Hierarchy PRIMARY KEY CLUSTERED,
    Node hierarchyid NOT NULL,
    [Level] as Node.GetLevel(),
    Name varchar(50) NOT NULL
)

CREATE INDEX IX_Hierarchy_Node
ON Hierarchy (Node)
INCLUDE (Name)

CREATE INDEX IX_Hierarchy_NodeBF
ON Hierarchy ([Level], Node)

GO

INSERT Hierarchy (Node, Name)
    SELECT CAST('/1/' AS hierarchyid), 'Alice' UNION ALL
    SELECT CAST('/1/1/' AS hierarchyid), 'Bob' UNION ALL
    SELECT CAST('/1/1/1/' AS hierarchyid), 'Charles' UNION ALL
    SELECT CAST('/1/1/2/' AS hierarchyid), 'Dave' UNION ALL
    SELECT CAST('/1/1/3/' AS hierarchyid), 'Ellen' UNION ALL
    SELECT CAST('/1/2/' AS hierarchyid), 'Fred' UNION ALL
    SELECT CAST('/1/3/' AS hierarchyid), 'Graham' UNION ALL
    SELECT CAST('/1/3/1/' AS hierarchyid), 'Harold' UNION ALL
    SELECT CAST('/1/3/2/' AS hierarchyid), 'Isabelle' UNION ALL
    SELECT CAST('/1/4/' AS hierarchyid), 'John' UNION ALL
    SELECT CAST('/2/' AS hierarchyid), 'Karen' UNION ALL
    SELECT CAST('/2/1/' AS hierarchyid), 'Liam' UNION ALL
    SELECT CAST('/2/2/' AS hierarchyid), 'Mary' UNION ALL
    SELECT CAST('/2/2/1/' AS hierarchyid), 'Nigel' UNION ALL
    SELECT CAST('/2/2/2/' AS hierarchyid), 'Oliver' UNION ALL
    SELECT CAST('/2/3/' AS hierarchyid), 'Peter' UNION ALL
    SELECT CAST('/2/3/1/' AS hierarchyid), 'Quinn'

GO

CREATE TYPE UniqueIntTable AS TABLE 
(
    Value int NOT NULL,
    PRIMARY KEY (Value)
)

GO

COMMIT

GO

Приведенный выше код / ​​скрипт можно использовать для создания функции CLR / схемы БД; используйте те же самые сценарии GoodFunction и BadFunction в оригинале.

Ответы [ 5 ]

10 голосов
/ 28 января 2010

Ха-ха, попробуйте это:

IF OBJECT_ID('_HappyFunction' ) IS NOT NULL DROP FUNCTION _HappyFunction
IF OBJECT_ID('_SadFunction'   ) IS NOT NULL DROP FUNCTION _SadFunction
IF TYPE_ID  ('_UniqueIntTable') IS NOT NULL DROP TYPE _UniqueIntTable
GO

CREATE TYPE _UniqueIntTable AS TABLE (Value int NOT NULL PRIMARY KEY)
GO

CREATE FUNCTION _HappyFunction (@IDs _UniqueIntTable READONLY)
RETURNS TABLE AS RETURN
  SELECT Value FROM @IDs
GO

CREATE FUNCTION _SadFunction (@IDs _UniqueIntTable READONLY)
RETURNS TABLE AS RETURN 
  WITH CTE AS (SELECT Value FROM @IDs)
  SELECT Value FROM CTE
GO

-- this will return an empty record set
DECLARE @IDs _UniqueIntTable 
SELECT * FROM _HappyFunction(@IDs)
GO

-- this will hang
DECLARE @IDs _UniqueIntTable 
SELECT * FROM _SadFunction(@IDs)
GO

Кто бы мог догадаться?

2 голосов
/ 28 января 2010

Я воспроизвел поведение в SQL 2008 с пакетом обновления 1 (SP1), заменив UDF SQL на UDF CLF dbo.GetAncestors. Я попробовал как табличную функцию, так и встроенную функцию; ни один не имел значения.

Я пока не знаю, что происходит, но в интересах других я приведу свои определения ниже.

-- try a recursive inline UDF...
CREATE FUNCTION dbo.GetAncestors(@hierarchyid hierarchyid)
RETURNS TABLE AS RETURN (
WITH recurse AS (
    SELECT @hierarchyid AS Ancestor
    WHERE @hierarchyid IS NOT NULL
    UNION ALL
    SELECT Ancestor.GetAncestor(1) FROM recurse
    WHERE Ancestor.GetAncestor(1) IS NOT NULL
    )
SELECT * FROM recurse
)

-- ...or a table-valued UDF, it makes no difference
CREATE FUNCTION dbo.GetAncestors(@hierarchyid hierarchyid)
RETURNS @return TABLE (Ancestor hierarchyid) 
AS BEGIN
    WHILE @hierarchyid IS NOT NULL BEGIN
        INSERT @return (Ancestor)
        VALUES (@hierarchyid)
        SET @hierarchyid = @hierarchyid.GetAncestor(1)
    END             
    RETURN
END

Выберите одно из приведенных выше определений, а затем запустите его, чтобы посмотреть, как оно зависнет:

DECLARE @IDs UniqueIntTable 
INSERT @IDs SELECT ID FROM Hierarchy
RAISERROR('we have inserted %i rows.',-1,-1,@@ROWCOUNT) WITH NOWAIT
SELECT * FROM dbo.GoodFunction(@IDs) a
RAISERROR('we have returned %i rows.',-1,-1,@@ROWCOUNT) WITH NOWAIT
GO

DECLARE @IDs UniqueIntTable 
INSERT @IDs SELECT ID FROM Hierarchy
RAISERROR('we have inserted %i rows.',-1,-1,@@ROWCOUNT) WITH NOWAIT
SELECT * FROM dbo.BadFunction(@IDs) a
RAISERROR('we have returned %i rows.',-1,-1,@@ROWCOUNT) WITH NOWAIT
GO

Вторая партия даже не начинает . Он проходит стадию разбора, но, похоже, теряется где-то между связыванием и оптимизацией.

Тела обеих функций компилируются в один и тот же план выполнения вне оболочки функций:

SET SHOWPLAN_TEXT ON
GO
DECLARE @IDs UniqueIntTable 
INSERT @IDs SELECT ID FROM Hierarchy
SELECT p.ID, p.Node, p.Name, p.[Level]
FROM
(
    SELECT DISTINCT a.Ancestor AS Node
    FROM Hierarchy c 
    CROSS APPLY dbo.GetAncestors_IF(c.Node.GetAncestor(1)) a
    WHERE c.ID IN (SELECT Value FROM @IDs)
) np
INNER JOIN Hierarchy p
ON p.Node = np.Node

;WITH Ancestors_CTE AS
(
    SELECT DISTINCT a.Ancestor AS Node
    FROM Hierarchy c
    CROSS APPLY dbo.GetAncestors_IF(c.Node.GetAncestor(1)) a
    WHERE c.ID IN (SELECT Value FROM @IDs)
)
SELECT p.ID, p.Node, p.Name, p.[Level]
FROM Ancestors_CTE ac
INNER JOIN Hierarchy p
ON p.Node = ac.Node


-- both return this:

    |--Nested Loops(Inner Join, OUTER REFERENCES:([p].[Node]))
         |--Compute Scalar(DEFINE:([p].[Level]=[Scratch].[dbo].[Hierarchy].[Level] as [p].[Level]))
         |    |--Compute Scalar(DEFINE:([p].[Level]=[Scratch].[dbo].[Hierarchy].[Node] as [p].[Node].GetLevel()))
         |         |--Index Scan(OBJECT:([Scratch].[dbo].[Hierarchy].[IX_Hierarchy_Node] AS [p]))
         |--Top(TOP EXPRESSION:((1)))
              |--Filter(WHERE:([Recr1005]=[Scratch].[dbo].[Hierarchy].[Node] as [p].[Node]))
                   |--Nested Loops(Inner Join, OUTER REFERENCES:([c].[Node]))
                        |--Nested Loops(Inner Join, OUTER REFERENCES:([Value]))
                        |    |--Clustered Index Scan(OBJECT:(@IDs))
                        |    |--Clustered Index Seek(OBJECT:([Scratch].[dbo].[Hierarchy].[PK_Hierarchy] AS [c]), SEEK:([c].[ID]=[Value]) ORDERED FORWARD)
                        |--Index Spool(WITH STACK)
                             |--Concatenation
                                  |--Compute Scalar(DEFINE:([Expr1011]=(0)))
                                  |    |--Constant Scan(VALUES:(([Scratch].[dbo].[Hierarchy].[Node] as [c].[Node].GetAncestor((1)))))
                                  |--Assert(WHERE:(CASE WHEN [Expr1013]>(100) THEN (0) ELSE NULL END))
                                       |--Nested Loops(Inner Join, OUTER REFERENCES:([Expr1013], [Recr1003]))
                                            |--Compute Scalar(DEFINE:([Expr1013]=[Expr1012]+(1)))
                                            |    |--Table Spool(WITH STACK)
                                            |--Compute Scalar(DEFINE:([Expr1004]=[Recr1003].GetAncestor((1))))
                                                 |--Filter(WHERE:(STARTUP EXPR([Recr1003].GetAncestor((1)) IS NOT NULL)))
                                                      |--Constant Scan

Очень интересно. Отправьте отчет об ошибке в Microsoft Connect, попросите рассказать, что происходит.

1 голос
/ 23 января 2010

Это предположение и всего лишь предположение, но, возможно, оно имеет какое-то отношение к тому, как оптимизатор делает довольно хорошее предположение о наилучшем плане выполнения, но не производит исчерпывающий поиск одного.

Итак, выполнение запроса работает так:

parse -> bind -> optimize -> execute

Деревья разбора для ваших двух запросов, безусловно, будут разными. Связанные деревья , вероятно, разные. Я не знаю достаточно о фазе связывания, чтобы утверждать это окончательно, но если предположить, что деревья связывания различны , тогда может потребоваться различное количество преобразований, чтобы получить деревья связывания A и B для одного и того же выполнения. план.

Если для преобразования запроса B в план ~ 5 мс требуется два дополнительных преобразования, оптимизатор может сказать «достаточно хорошо», прежде чем его обнаружить. Принимая во внимание, что для запроса А план ~ 5 мс может быть как раз внутри порога стоимости поиска.

0 голосов
/ 20 июля 2010

Как я понимаю, при использовании CTE в пакетном режиме вы должны заканчивать оператор ";". Это как-то связано с интерпретацией предложения WITH. Попробуйте это:

IF OBJECT_ID('_HappyFunction' ) IS NOT NULL DROP FUNCTION _HappyFunction  
IF OBJECT_ID('_NowHappyFunction') IS NOT NULL DROP FUNCTION _NowHappyFunction  
IF TYPE_ID  ('_UniqueIntTable') IS NOT NULL DROP TYPE _UniqueIntTable  
GO  

CREATE TYPE _UniqueIntTable AS TABLE (Value int NOT NULL PRIMARY KEY)  
GO  

CREATE FUNCTION _HappyFunction (@IDs _UniqueIntTable READONLY)  
RETURNS TABLE AS RETURN  
  SELECT Value FROM @IDs  
GO  

CREATE FUNCTION _NowHappyFunction (@IDs _UniqueIntTable READONLY)  
RETURNS @Table TABLE
(
Value INT
)
BEGIN
  ;WITH CTE AS (SELECT Value FROM @IDs)
  INSERT INTO @Table
  SELECT Value FROM CTE
  RETURN
END
GO

-- this will return an empty record set  
DECLARE @IDs _UniqueIntTable   
SELECT * FROM _HappyFunction(@IDs)  
GO  

-- this will no longer hang and will also return an empty record set 
DECLARE @IDs _UniqueIntTable   
SELECT * FROM _NowHappyFunction(@IDs)  
GO 
0 голосов
/ 27 января 2010

В первом утверждении ваше объединение

np INNER JOIN Hierarchy p
    ON p.Node = np.Node

ваше второе утверждение

Ancestors_CTE a
INNER JOIN Hierarchy p
ON p.Node = a.Node

Однако, a также используется как псевдоним для dbo.GetAncestors (c.Node.GetAncestor (1)) в CT. Попробуйте обменять Ancestors_CTE a на например Ancestor_CTE acte, чтобы оптимизатор не перепутал с двойным использованием a в качестве псевдонима.

Тем не менее, я не уверен, насколько хорош SQL-сервер в применении правильных индексов при создании CTE. У меня были проблемы с этим раньше, и я с большим успехом использовал табличные переменные.

...