Чтение метаданных CSV из набора данных, слишком большое для поиска

Question

Мне нужно создать конвейер для чтения CSV-файлов из папки, загрузки из строки 8 в таблицу SQL Azure, строки Frist 5 перейдут в другую таблицу ([tblMetadata]).

Пока что яЯ сделал это, используя Lookup Activity, работает нормально, но один из файлов больше 6 МБ и он не работает.

Я проверил все параметры в Lookup, прочитал все о Copy Activity (которую я использую для загрузки основногоданные - пропустить 7 строк). Конвейер создается с использованием графического интерфейса.

Вывод из Lookup используется в качестве параметров для хранимой процедуры для вставки в tblMetadata

Может кто-нибудь посоветовать мне, как с этим бороться? В данный момент я на тренировке, никто не может мне помочь на месте.

Answer 1

Я сделал обходной путь по-другому, модифицированные CSV, которые импортируются, чтобы иметь целые метаданные в первой строке (так как это было частью моего другого проекта). Тогда использовал FirstRow только в Lookup.

Answer 2

Возможно, вы могли бы сделать это с одним действием потока данных, у которого есть пара преобразований.

Можно использовать преобразование источника, которое считывает из папки, используя пути к папкам и символы подстановки, а затем добавить преобразование условного разделенияотправлять разные строки в разные приемники.