У меня есть проект Biztalk, который импортирует входящий CSV-файл и выгружает его в таблицу базы данных. Импорт работает нормально, но мне нужно только сохранить около 200-300 записей из файла с числом строк более миллиона. Моя оркестровка отбрасывает эти строки, но проблема в том, что импортируемый мной плоский файл по-прежнему занимает 250 МБ, а при преобразовании в XML с использованием обычного конвейера плоских файлов обработка занимает несколько часов, а иногда приводит к нехватке памяти на сервере.
Могу ли я сделать так, чтобы сам Custom Pipeline отбрасывал строки, которые меня не интересуют? Самый первый элемент в каждой строке CSV - это одна из нескольких строк, и я хочу сохранить только строки, начинающиеся с определенной строки.
Спасибо за любую помощь, которую вы можете оказать.