SQL-запрос для фильтрации более 10 миллионов значений

Question

Мне нужно создать дневной график / отчет, который должен подсчитывать количество строк в день, но должен фильтровать более 10 миллионов значений.Написание предложения where для этого кажется маловероятным, так как я не смогу отфильтровать по миллионам значений.

Есть ли способ сделать это с помощью запроса или эту фильтрацию нужно выполнить в восходящем направлении во время процесса ETLпрежде чем данные / строки будут доступны и загружены в БД каждый день?

Answer 1

Я бы использовал поле с созданной датой (в качестве типа даты, а не метки времени).Создайте индекс в этом поле, а затем используйте предложение where.Это позволит базе данных оптимально фильтровать по дате.Некоторые базы данных даже отслеживают количество записей, соответствующих данному ключу.Делая это, вы просто используете предложение where и полагаетесь на оптимизацию внедрения вашей СУБД.