Агрегат агрегата с EF Core Linq2Sql - PullRequest
1 голос
/ 25 июня 2019

У меня есть проект ASP.NET Core 2.2 с EF Core 2.2 Code-First DB. У меня есть следующие лица:

  • Здание, которое является в основном адресом с некоторыми другими важными данными.
  • Этаж, который содержит номер этажа. Здание может иметь несколько этажей. На этаже должно быть ровно одно здание, в котором оно находится.
  • Комната, в которой есть номер. На этаже может быть несколько комнат. Комната должна иметь ровно один этаж.
  • Рабочая группа, в которой указывается, сколько сотрудников входит в группу, работает ли группа и когда она начала работать (что может произойти в будущем).
  • RoomOccupancy, которая представляет собой таблицу соединения между рабочей группой и комнатой и показывает, в какой комнате рабочая группа была / была / будет / будет.

Мне нужен список зданий с названием здания, сколько этажей в нем, сколько комнат в здании (не этаж) и сколько человек в настоящее время работает в здании.

В настоящее время я могу получить все данные, но переведенный SQL не является оптимальным и требует много поездок в БД. Мне удалось написать одну инструкцию выбора SQL (с внутренним выбором) вручную для решения этой проблемы, поэтому я знаю, что это возможно с помощью одного запроса.

dbContext.Buildings.Select(x=> new BuildingDatableElementDTO(){
            BuildingId = b.Id,
            Name = b.Name,
            FloorCount = b.Floors.Count(),
            //this is the part where problems start,
            //this translates to multiple SQL statements
            RoomCount = b.Floors.Sum(f=>f.Rooms.Count()),
            // I replaced the next line with
            // CurrentWorkerCount = 10, but a solution would be nice
            CurrentWorkerCount = b.Floors.Sum(f=>f.Rooms
              .Sum(r=>r.RoomOccupancies
                 .Where(o=>!o.WorkGroup.IsFinished && o.WorkGroup.StartDate < Datetime.Now).
                 .Sum(w => w.NumberOfEmployees)
                 ))),
    }).ToList();

В целях тестирования я заменил лямбда CurrentWorkerCount на CurrentWorkerCount = 10, потому что я могу понять, трудно ли перевести на SQL, но все равно не удается создать один оператор SQL с RoomCount.

Ведение журнала с информационным уровнем показывает это: «выражение LINQ« Sum () »не может быть переведено и будет оцениваться локально» для каждого здания, имеющего хотя бы один этаж. Затем у меня есть одна большая DbCommand (слишком длинная для копирования), затем одна DbCommand для каждого здания, которая подсчитывает количество комнат.

Я читал, что есть проблемы с агрегатами в EF Core 2.1, но я думаю, что ORM не должно быть трудной задачей для преобразования этой проекции в один запрос.

Я что-то не так делаю или это возможности LINQ и EF Core? Я думаю, что я мог бы легко сделать это с не Core EF ранее. Я читал о некоторых обходных путях для GroupBy и агрегатов, но в моем случае это не помогло.

UPDATE

Вот сгенерированный журнал (только интересные части). Я использую специальное решение для фильтрации, сортировки и подкачки страниц, которое прекрасно работает с простыми проблемами. В этом примере фильтрация отсутствует, сортировка производится по названию здания и основной выборке (пропустите от 0 до 15). В базе данных имеется только минимальное количество тестовых данных (в 15 зданиях одно имеет 1 этаж, в другом - 2, из которых 1 комната, в которой 1 рабочая группа со 100 сотрудниками). У меня также есть мягкое удаление с глобальным фильтром, настроенным для флага IsDeleted. Я не думаю, что эти вещи влияют на результаты, но вот они, может быть, они делают.

  • Не удалось перевести выражение LINQ «Sum ()», и оно будет оцениваться локально.
  • Не удалось перевести выражение LINQ «Sum ()», и оно будет оцениваться локально.
  • Не удалось перевести выражение LINQ «Sum ()», и оно будет оцениваться локально.
  • Не удалось перевести выражение LINQ «Sum ()», и оно будет оцениваться локально.
  • Выражение LINQ «Sum ()» не может быть переведено и будет оцениваться локально.
  • Не удалось перевести выражение LINQ «Sum ()», и оно будет оцениваться локально.
  • Не удалось перевести выражение LINQ «Sum ()», и оно будет оцениваться локально.
  • Не удалось перевести выражение LINQ «Sum ()», и оно будет оцениваться локально.
  • Выполнено DbCommand ("2" мс) [Параметры = ["@__ p_0 = '?' (DbType = Int32), @__ p_1 = '?' (DbType = Int32) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT CONVERT(VARCHAR(36), [x].[Id]) AS [BuildingId], [x].[Name], (
    SELECT COUNT(*)
    FROM [Floors] AS [x0]
    WHERE ([x0].[IsDeleted] = 0) AND ([x].[Id] = [x0].[BuildingId])
) AS [FloorCount], [x].[Id]
FROM [Buildings] AS [x]
WHERE [x].[IsDeleted] = 0
ORDER BY [x].[Name]
OFFSET @__p_0 ROWS FETCH NEXT @__p_1 ROWS ONLY
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_ external_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполненная команда DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("0" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполненная команда DbCommand ("1" мс) [Параметры = ["@__Now_2 = '?'(DbType = DateTime2), @ _outer_Id3 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT SUM([x14].[NumberOfEmployees])
    FROM [RoomOccupancys] AS [x14]
    LEFT JOIN [WorkGroups] AS [k.WorkGroup2] ON [x14].[WorkGroupId] = [k.WorkGroup2].[Id]
    WHERE (([x14].[IsDeleted] = 0) AND (([k.WorkGroup2].[IsFinished] = 0) AND ([k.WorkGroup2].[StartDate] < @__Now_2))) AND ([x13].[Id] = [x14].[RoomId])
)
FROM [Rooms] AS [x13]
WHERE ([x13].[IsDeleted] = 0) AND (@_outer_Id3 = [x13].[FloorId])
  • Выполненная команда DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("0" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполненная команда DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("0" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@__Now_2 = '?'(DbType = DateTime2), @ _outer_Id3 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT SUM([x14].[RemainingAmount])
    FROM [RoomOccupancys] AS [x14]
    LEFT JOIN [WorkGroups] AS [k.WorkGroup2] ON [x14].[WorkGroupId] = [k.WorkGroup2].[Id]
    WHERE (([x14].[IsDeleted] = 0) AND (([k.WorkGroup2].[IsFinished] = 0) AND ([k.WorkGroup2].[StartDate] < @__Now_2))) AND ([x13].[Id] = [x14].[RoomId])
)
FROM [Rooms] AS [x13]
WHERE ([x13].[IsDeleted] = 0) AND (@_outer_Id3 = [x13].[FloorId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("0" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("0" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_ external_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполнено DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("0" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])
  • Выполненная команда DbCommand ("1" мс) [Параметры = ["@_outer_Id = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT (
    SELECT COUNT(*)
    FROM [Rooms] AS [x4]
    WHERE ([x4].[IsDeleted] = 0) AND ([x3].[Id] = [x4].[FloorId])
)
FROM [Floors] AS [x3]
WHERE ([x3].[IsDeleted] = 0) AND (@_outer_Id = [x3].[BuildingId])
  • Выполнено DbCommand ("0" мс) [Параметры = ["@_outer_Id2 = '?'(DbType = Guid) "], CommandType = 'Text', CommandTimeout = '30 ']"
SELECT [x10].[Id]
FROM [Floors] AS [x10]
WHERE ([x10].[IsDeleted] = 0) AND (@_outer_Id2 = [x10].[BuildingId])

Ответы [ 2 ]

3 голосов
/ 26 июня 2019

Я читал, что есть проблемы с агрегатами в EF Core 2.1, но я думаю, что ORM не должно быть трудной задачей для преобразования этого прогноза в один запрос.

Вы правы, что у EF Core были (и до сих пор есть - самые последние на данный момент v2.2) проблемы с переводом GroupBy и агрегатов (и не только).Но не для «не должно быть трудной задачей» - попробуйте самостоятельно преобразовать дерево произвольных выражений в псевдо SQL, и вы быстро обнаружите, что это довольно сложная задача.

В любом случае, EFПеревод основных запросов со временем улучшается, но, как уже упоминалось, далек от совершенства.В этом случае showtopper - это вложенные агрегаты - сумма суммы / числа и т. Д. Решение состоит в том, чтобы сгладить целевой набор и применить один агрегат.Например, переписав ваш запрос LINQ следующим образом:

dbContext.Buildings.Select(b => new //BuildingDatableElementDTO()
{
    BuildingId = b.Id,
    Name = b.Name,
    FloorCount = b.Floors.Count(),
    // (1)
    RoomCount = b.Floors.SelectMany(f => f.Rooms).Count(),
    // (2)
    CurrentWorkerCount = b.Floors
        .SelectMany(f => f.Rooms)
        .SelectMany(r => r.RoomOccupancies)
        .Select(o => o.WorkGroup)
        .Where(w => !w.IsFinished && w.StartDate < DateTime.Now)
        .Sum(w => w.NumberOfEmployees),
})
.ToList();

преобразуется в один SQL (как и ожидалось):

  SELECT [e].[Id] AS [BuildingId], [e].[Name], (
      SELECT COUNT(*)
      FROM [Floors] AS [e0]
      WHERE ([e0].[IsDeleted] = 0) AND ([e].[Id] = [e0].[BuildingId])
  ) AS [FloorCount], (
      SELECT COUNT(*)
      FROM [Floors] AS [e1]
      INNER JOIN (
          SELECT [e2].[Id], [e2].[FloorId], [e2].[IsDeleted], [e2].[Name]
          FROM [Rooms] AS [e2]
          WHERE [e2].[IsDeleted] = 0
      ) AS [t] ON [e1].[Id] = [t].[FloorId]
      WHERE ([e1].[IsDeleted] = 0) AND ([e].[Id] = [e1].[BuildingId])
  ) AS [RoomCount], (
      SELECT SUM([f.Rooms.RoomOccupancies.WorkGroup].[NumberOfEmployees])
      FROM [Floors] AS [e3]
      INNER JOIN (
          SELECT [e4].*
          FROM [Rooms] AS [e4]
          WHERE [e4].[IsDeleted] = 0
      ) AS [t0] ON [e3].[Id] = [t0].[FloorId]
      INNER JOIN (
          SELECT [e5].*
          FROM [RoomOccupancies] AS [e5]
          WHERE [e5].[IsDeleted] = 0
      ) AS [t1] ON [t0].[Id] = [t1].[RoomId]
      INNER JOIN [WorkGroups] AS [f.Rooms.RoomOccupancies.WorkGroup] ON [t1].[WorkgroupId] = [f.Rooms.RoomOccupancies.WorkGroup].[Id]
      WHERE (([e3].[IsDeleted] = 0) AND (([f.Rooms.RoomOccupancies.WorkGroup].[IsFinished] = 0) AND ([f.Rooms.RoomOccupancies.WorkGroup].[StartDate] < GETDATE()))) AND ([e].[Id] = [e3].[BuildingId])
  ) AS [CurrentWorkerCount]
  FROM [Building] AS [e]
  WHERE [e].[IsDeleted] = 0
0 голосов
/ 26 июня 2019

Что если вы не использовали свойства EF Navigations, а использовали ручные соединения с LINQ to EF?

var ans2 = (from b in dbContext.Buildings
            join f in dbContext.Floors on b.Id equals f.BuildingId into fj
            from f in fj.DefaultIfEmpty()
            join r in dbContext.Rooms on f.Id equals r.FloorId into rj
            from r in rj.DefaultIfEmpty()
            join ro in dbContext.RoomOccupancies on r.Id equals ro.RoomId
            join w in dbContext.WorkGroups on ro.WorkGroupId equals w.Id into wj
            from w in wj.DefaultIfEmpty()
            where !w.IsFinished && w.StartDate < DateTime.Now
            select new BuildingDatableElementDTO() {
                BuildingId = b.Id,
                Name = b.Name,
                FloorCount = fj.Count(),
                RoomCount = rj.Count(),
                CurrentWorkerCount = wj.Sum(w => w.NumberOfEmployees)
           })
           .ToList();
...