Голосование, чтобы закрыть слишком мало информации.
Типичные подходы:
- Не загружать все данные. Вам действительно не нужно загружать неизмененные записи каждый день. У вас есть крошечные данные (мы отслеживаем 40 миллионов строк в день), но trcick не должен загружать данные, которые не изменились для начала.
- Лучшее оборудование. Вы не говорите ничего, что вы используете.
- Избегайте группового - что или? Непонятно из вашего вопроса.,
В общем: наймите специалиста. Серьезно - Это звучит как настоящий проект высокого класса, и люди зарабатывают деньги на своих знаниях. Если у вас есть проблемы на этом уровне, многие другие вещи могут быть неправильными, и подробный ответ далеко за пределы того, что вы можете задать здесь. Например - запрос может не быть вашей проблемой, hwole-подход может быть неудачным (как я уже сказал: избегать обработки данных для начала).