Слишком много комбинаций клавиш - необходимо заново хэшировать данные

Question

Мы строим склад с использованием SSIS.

Я выполняю агрегацию и получил следующее сообщение

Совокупное преобразование обнаружило 2000037 комбинаций клавиш. Необходимо повторно хэшировать данные, потому что количество комбинаций клавиш больше ожидаемого. Компонент можно настроить для предотвращения повторного хеширования данных, настроив свойства Keys, KeyScale и AutoExtendFactor

Он не записывал выходные данные, и наиболее тревожно , он не выбрасывал любые исключения.

Что здесь происходит? Как мне это исправить?

Answer 1

Комбинации клавиш - это количество групп в потоке данных. Установите значение KeysScale (расширенное свойство задачи) на число> 2000037. Постарайтесь угадать как можно ближе, чтобы преобразование могло выделить достаточно памяти для выполнения агрегации.

Я бы избегал использования этого преобразования, когда это вообще возможно. Он не только требует много памяти, но и поддерживает всю задачу потока данных, пока не завершится.

Откуда поступают данные? Если реляционная база данных, переместите группу по, упорядочить по и любые агрегаты в запрос к базе данных.