Как я могу отфильтровать исходный набор данных, чтобы скопировать только определенные партии в мой приемник?

Question

У меня есть CSV-файл с 2 столбцами (идентификатор и имя). CSV-файл имеет более 1 миллиона имен. Я изо всех сил пытаюсь понять, как я могу отфильтровать результаты, чтобы копировать только те данные, для которых в столбце 2 указано имя «Мэри».

Кто-нибудь может посоветовать?

Answer 1

Добавьте действие потока данных в свой конвейер ADF. В этом конвейере укажите Source на ваш набор данных CSV. Затем добавьте преобразование Filter и напишите выражение, например name == 'mary'. Затем добавьте Раковину. Это скопирует только те строки, которые имеют «Мэри» для значения в столбце имени.