Redshift.DataLoadFailed при записи из Firehose в Redshift - PullRequest
Новая
       49

Redshift.DataLoadFailed при записи из Firehose в Redshift

0 голосов
/ 21 мая 2018

Я использую лямбда-функцию для записи данных в Firehose, а затем в Redshift.Проблема в том, что я получаю

Redshift.DataLoadFailed: загрузка данных в таблицу не удалась.Проверьте системную таблицу STL_LOAD_ERRORS для получения подробной информации

Когда я просматриваю детали, это потому, что

Разделитель не найден

Когда я смотрю вS3 bucket, я вижу, что мои данные записаны в 1 длинную строку ... это так?Я подозреваю, в этом проблема?

"S77", "2018-05-21T00: 05: 00 + 08: 00", "0" "S109", "2018-05-21T00: 05: 00 + 08: 00"," 0 "" S117 "," 2018-05-21T00: 05: 00 + 08: 00 "," 0 "

Я думаю, что должен увидеть что-то вроде:

"S77", "2018-05-21T00: 05: 00 + 08: 00", "0"

"S109", "2018-05-21T00: 05: 00 + 08:00 "," 0 "

" S117 "," 2018-05-21T00: 05: 00 + 08: 00 "," 0 "

Это правильно?Я что-то не так сделал, когда писал в Redshift?

firehose.putRecordBatch({
    DeliveryStreamName: 'raincover-nea-rainfall',
    Records: chunks[0].map(item => {
        console.log(item) // Something like: "S118","2018-05-21T00:10:00+08:00","0"
        return { 
            Data: item
        }
    })
}, (err, data) => {
    if (err) {
        console.log('FAILED TO ADD CHUNK', err.message)
        return //reject(err)
    }
    console.log('CHUNK ADDED')
    console.log(data)
    //resolve(data)
})
...