Я пытаюсь использовать Sqoop для экспорта данных из моего озера данных в таблицу, которую я настроил в Azure SQL Server. Это все в фабрике данных Azure. Схема таблицы соответствует схеме имени файла, за одним исключением ... У меня есть столбец с именем 'имя_файла' в таблице, который я хочу заполнить из самого файла (это поле отсутствует в необработанных данных),Вот код, который я попробовал.
sqoop-export
--connect "jdbc:sqlserver://server_name.database.windows.net:1433;username=user_name;password='pass word';database=db_name"
--table REUTERS_CW
--export-dir adl://rawdata/corp/file_name.gz
--input-fields-terminated-by "|"
Когда я запускаю его, я получаю эту ошибку:
<console>:10: error: identifier expected but string literal found.
--input-fields-terminated-by "|"
Есть три вещи, в которых я не уверен.
#1) My password actually has spaces in it; I think wrapping that in quotes will fix it.
#2) I'm running this in Scala in Azure Databricks; I'm guessing that's oen way to do it, but I don't know for sure.
#3) I'm not certain about how to copy the data from the file and simultaneously append the file name relative to the data that's supposed to be copied over.
Я следую примеру по ссылке ниже.
https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-transfer-sql-sqoop