Вы довольно близки к вашему запросу.В основном вам нужно агрегировать по категориям:
SELECT c.name, COUNT(*) AS RentalCount
FROM film_category fc JOIN
category c
ON c.category_id = fc.category_id JOIN
inventory i
ON i.film_id = fc.film_id JOIN
rental r
ON r.inventory_id = i.inventory_id
GROUP BY c.name
ORDER BY RentalCount DESC
LIMIT 1;