Оптимизированный способ получить лучшие n записей каждой группы - PullRequest
Новая
       34

Оптимизированный способ получить лучшие n записей каждой группы

0 голосов
/ 30 мая 2018

Мне нужны 6 лучших записей каждой подкатегории из таблицы MySQL, содержащей почти 100 тыс. Записей.Я попробовал следующий запрос mysql, но меня беспокоит его производительность в моей таблице с большим количеством записей. 

SELECT 
    *
FROM
    (SELECT 
        sub_cat_id,
        title,      
        @rn:=IF(@prev = sub_cat_id, @rn + 1, 1) AS rn,
        @prev:=sub_cat_id AS previd,
        created_date
    FROM
        blog
    WHERE
        type = 'BLOG'
            AND FIND_IN_SET(sub_cat_id, '1,2,8')
            AND created_date <= NOW()
    ORDER BY sub_cat_id DESC , created_date DESC) AS records
WHERE
    rn <= 6

В приведенном выше запросе MySQL будет нумеровать все записи, имеющие sub_cat_id 1,2 и8. Во внешнем запросе выбора записи будут сокращены до 6 записей для каждой подкатегории.

У меня следующие проблемы

  • Это лучший и быстрый способ получить 6 записей для каждой подкатегории
  • Если этот запрос дает желаемый результат.

Вот мой блог таблица 

+-------- +------------+-------+--------------+
| blog_id | sub_cat_id | title | created_date |
+-------- +------------+-------+--------------+
| 1       | 1          | ABC   | 2018-05-25   |
| 2       | 1          | ABC   | 2018-05-22   |
| 3       | 2          | ABC   | 2018-05-23   |
| 4       | 2          | ABC   | 2018-05-21   |
| 5       | 2          | ABC   | 2018-05-20   |
| 6       | 8          | ABC   | 2018-05-15   |
+-------- +------------+-------+--------------+

1 Ответ

0 голосов
/ 30 мая 2018

Ваш подход в порядке, но ваш запрос - нет.В частности, MySQL не гарантирует порядок вычисления выражений в SELECT, поэтому вам не следует присваивать переменную в одном выражении и использовать ее в другом.

К счастью, вы можете объединять присваивания водиночное выражение: 

SELECT b.*
FROM (SELECT b.sub_cat_id, b.title,  created_date     
             (@rn := IF(@sc = b.sub_cat_id, @rn + 1,
                        if(@sc := b.sub_cat_id, 1, 1)
                       )
             ) as rn
      FROM blog b CROSS JOIN
           (SELECT @sc := -1, @rn := 0) params
      WHERE b.type = 'BLOG' AND
            b.sub_cat_id IN (1, 2, 8) AND
            b.created_date <= NOW()  -- is this really needed?
      ORDER BY b.sub_cat_id DESC, b.created_date DESC) AS records
     ) b
WHERE rn <= 6;

Для этого запроса вам нужны индексы.Я думаю, что это будет работать: type, sub_cat_id, created_date).К сожалению, group by все еще потребует сортировки данных.В более поздних версиях MySQL, я думаю, вам нужно выполнить сортировку в подзапросе, а затем присваивать rn.

Мне интересно, можно ли сделать эту формулировку более эффективной: 

select b.*
from blogs b
where b.type = 'BLOG' and
      b.sub_cat_id in (1, 2, 8) and
      b.created_at >= (select b2.created_at
                       from blogs b2
                       where b2.type = b.type and
                             b2.sub_cat_id = b.sub_cat_id
                       order by b2.created_at desc
                       limit 1 offset 5
                      );

Для этого вам нужен индекс для blog(type, sub_cat_id, created_at).

...