Вы можете использовать метод Eloquent whereHas, который получает отношение, обратный вызов, оператор и счет.
Попробуйте это:
$groups = Group::whereHas('broadcasts', function ($query) {
$query->whereBetween('created_at', [now()->subDay(), today()]);
}, '<=', 5)->get();