Временное хранилище для очищенных данных в Integration Services

Question

У меня есть файл Excel, который мне нужно обработать три раза в службах интеграции, один раз для проектов, один раз для людей и один раз для данных отслеживания времени.

На каждом шаге у меня есть источник Excel, и мне нужно выполнить очистку некоторых данных и преобразование типов (то же самое во всех трех шагах).

Есть ли простой способ создания шага, который делает все это и позволяет мне использовать выходные данные в качестве входных данных для других "реальных" шагов?

Я начинаю думать об импорте его на SQL-сервер во временную таблицу, что, конечно, хорошо, но было бы неплохо, если бы я мог пропустить этот шаг.

Answer 1

Этого можно достичь, используя один поток данных.

Вы можете прочитать источник данных Excel один раз, а затем использовать Multicast Transformation для создания копий набора данных в памяти. Затем вы можете обработать каждую из трех ветвей вашего потока данных соответственно, а также использовать параллельную обработку!

Для получения подробной информации см. Следующую ссылку:

http://msdn.microsoft.com/en-us/library/ms137701(SQL.90).aspx

Я надеюсь, что то, что я описал, ясно и понятно, но, пожалуйста, не стесняйтесь обращаться ко мне напрямую, если вам требуется дальнейшее руководство.

Ура, Джон

[Добавлено в ответ на комментарии]

Что касается вашего дальнейшего вопроса, вы можете указать приоритет / управление потоком вашего пакета, используя более одного потока. Так, например, вы можете использовать задачу многоадресной рассылки для создания трех потоков данных, а затем впоследствии определить свое управление потоком приоритета, так что все задачи преобразования в потоке 1 должны быть выполнены до того, как могут начаться преобразования в потоке два.

Answer 2

Сначала вы можете использовать три отдельные задачи потока данных с задачей файловой операции. Файловая операция будет заключаться в копировании исходного файла Excel во временную область. Каждая из трех задач потока данных должна начинаться с временного файла и записываться во временный файл (я думаю, что им может потребоваться запись в копию).

Проблема заключается в том, что потоки данных работают последовательно. Это может не быть проблемой для вашего файла Excel, но может быть проблемой для обработки большего количества строк. В таком случае было бы лучше обработать три «шага» параллельно и объединить результаты на заключительном этапе.