Усреднение плоского файла с динамическими столбцами более 2 ГБ в службах SSIS - PullRequest
0 голосов
/ 04 марта 2019

Мне нужно суммировать огромный CSV-файл, созданный как вывод из другого процесса.Файл может быть разным и может иметь разные заголовки.У каждого файла есть строковое поле в столбце col1, порядковый номер (целое число) в столбце 2, затем десятичные дроби для столбцов с 3 по x, где x изменяется, как и заголовки.Col1 повторяется для каждого цикла.

Мне нужно усреднить все, начиная с столбца 3.

Я знаю, что могу установить статическое соединение с плоским файлом для каждого файла, но я ищу способчтобы заставить это работать автоматически для любого файла того же формата.Некоторые из них до 5 Гбит.

Это вообще возможно?

Я использую атм SSIS версии 2012 года.

Спасибо!

1 Ответ

0 голосов
/ 04 марта 2019

Без изложенных для вас бизнес-правил о том, как данные могут варьироваться, такая загрузка данных будет очень рискованной из-за динамического характера файла.

Поскольку SSIS работает на основе жестких (не текучих) метаданныхдескрипторы, на мой взгляд, такая работа не совсем подходит для SSIS.

...