Sqoop импорт из красного смещения

Question

Как и в заголовке, попытка переместить некоторые данные из Redshift в S3 через Sqoop:

sqoop-import -Dmapreduce.job.user.classpath.first=true --connect "jdbc:redshift://redshiftinstance.us-east-1.redshift.amazonaws.com:9999/stuffprd;database=ourDB;user=username;password=password;" --table ourtable -m 1 --as-avrodatafile --target-dir s3n://bucket/folder/folder1/

Все драйверы находятся в соответствующих папках, однако выдается ошибка:

 ERROR tool.BaseSqoopTool: Got error creating database manager: java.io.IOException: No manager for connect string:

Answer 1

Не уверен, что вы уже получили ответ на этот вопрос, но вам нужно добавить следующее в вашу команду sqoop:

--driver com.amazon.redshift.jdbc42.Driver

--connection-manager org.apache.sqoop.manager.GenericJdbcManager

Answer 2

Я не могу помочь с ошибкой, но я рекомендую вам не сделать это таким образом.Sqoop попытается получить таблицу как SELECT *, и все результаты должны пройти через узел-лидер.Это будет намного медленнее, чем использование UNLOAD для параллельного экспорта данных в S3.Затем вы можете конвертировать выгруженные текстовые файлы в Avro, используя Sqoop.