SQL Server для S3 через Sqoop

Question

Я видел некоторую противоречивую информацию о том, способен ли Sqoop обрабатывать следующий сценарий использования: я почти уверен, что видел это в прошлом, но хочу перепроверить .. Вот bashscript:

sqoop-import -Dmapreduce.job.user.classpath.first=true --connect "jdbc:sqlserver://stuff:1433;database=prd_swift_core;user=username;password=red123:" --table MYTABLE -m 1 --as-avrodatafile --target-dir s3n://bucket/folder1/folder2/MYTABLE/DATE

Он заканчивается, но таблица никогда не отображается на S3.Таблица примерно 20 гигов, не уверен, если это ограничение?

Answer 1

Это будет работать.

Для тех, кто пытается это сделать, вам нужно добавить параметр --fetch-size, иначе он попытается импортировать всю таблицу сразу.23 концерта успешно перенесены с SqlServer на S3.