Достигнут конец записи, когда ожидается анализ столбца '"TRANSIENT_STAGE_TABLE в SNOWFLAKE DATAWAREHOUSE - PullRequest
Новая
       8

Достигнут конец записи, когда ожидается анализ столбца '"TRANSIENT_STAGE_TABLE в SNOWFLAKE DATAWAREHOUSE

0 голосов
/ 28 декабря 2018

У меня есть файл в формате .csv на S3. Когда я пытаюсь загрузить Snowflake, я получаю сообщение об ошибке «Достигнут конец записи, когда ожидается анализ столбца» «TRANSIENT_STAGE_TABLE».

MyФайл выглядит как 

Account_Activity_Type , Batch_ID , reference, Merchant
UNRECONCILED PAYMENT, cycleRef, @#$2&,

Образец данных, который выдает ошибку

Данные 

Account_Activity_Type,Batch_ID,Batch_Sent_Date,Bank_Batch_ID,Bank_Account_Updated,Amount_Currency,Batch_Credit_Debit_Mark,Amount,Statement_Ref,Bank_Statement_Ref,Merchant_Bank_Account_Updated,Merchant_Party_ID,Merchant_Contract_ID,External_Original_Transaction_ID,External_Original_Transaction_Date
UNRECONCILED DISBURSEMENT,cycleRef,,batchId1,,USD,CREDIT,100,@#$2&,id,,,,,
UNRECONCILED DISBURSEMENT_RETURN,cycleRef,,batchId1,,USD,CREDIT,1000,${originationId},id,,,,,
UNRECONCILED DISBURSEMENT_RETURN,cycleRef,,batchId1,,USD,CREDIT,100,@#$2&,id,,,,,
UNRECONCILED DISBURSEMENT_RETURN,cycleRef,,batchId1,,USD,CREDIT,100,${originationId},id,,,,,

Код, который я использую для загрузки в SnowFlake Datawarehouse. 

Create or replace FILE FORMAT SETTLEMENT_DQ

COMPRESSION = 'AUTO'
FIELD_DELIMITER = ','
RECORD_DELIMITER = '\n'
SKIP_HEADER = 1
--FIELD_OPTIONALLY_ENCLOSED_BY = '\042'
FIELD_OPTIONALLY_ENCLOSED_BY = NONE
TRIM_SPACE = FALSE
validate_UTF8=false
ERROR_ON_COLUMN_COUNT_MISMATCH = FALSE
ESCAPE = 'NONE'
--ESCAPE_UNENCLOSED_FIELD = '\134'
ESCAPE_UNENCLOSED_FIELD = NONE
DATE_FORMAT = 'mm/dd/yyyy'
TIMESTAMP_FORMAT = 'AUTO'
NULL_IF = ('NULL', 'null', '\N')
COMMENT = 'parse comma-delimited, double-quoted data'


insert into SETTLEMENT_DAILY 
(
Account_Activity_Type,
Batch_ID,
Batch_Sent_Date,
Bank_Batch_ID,
Bank_Account_Updated,
Amount_Currency,
Batch_Credit_Debit_Mark,
Amount,
Statement_Ref,
Bank_Statement_Ref,
Merchant_Bank_Account_Updated,
Merchant_Party_ID,
Merchant_Contract_ID,
External_Original_Transaction_ID,
External_Original_Transaction_Date
  )
SELECT 
T.$1,
T.$2,
T.$3,
T.$4,
T.$5,
T.$6,
T.$7,
T.$8,
T.$9,
T.$10,
T.$11,
T.$12,
T.$13,
T.$14,
T.$15
FROM @DEV_S3_DATA/SETTLEMENT/yearly_XN540000_UK.csv (FILE_FORMAT => 'SETTLEMENT_DQ') as T;

Возможно, кто-нибудь поделится вашим предложением, если известна ошибка.

Ошибка: достигнут конец записи, хотя ожидается анализ столбца '"TRANSIENT_STAGE_TABLE" ["$ 15": 15]' File 'SETTLEMENT / year_XN540000_UK.csv ', строка 5, символ 92, строка 4, столбец "TRANSIENT_STAGE_TABLE" ["$ 15": 15]

...