Я получаю сообщение об ошибке OverMaxRecordSize: число символов в одной записи превышает наш максимальный порог, maxCharsPerRecord: 1,048,576 , когда я пытаюсь извлечь какую-либо конкретную запись из AWS S3, используя selectObjectContent function.
Если я получаю 10 записей, они работают, но если я пытаюсь получить одну из них, значит, она выдает ошибку выше.
Как я вижу, причина ошибки в документации AWS: «Длина записи во входных данных или в результате превышает maxCharsPerRecord, равный 1 МБ.»
Пожалуйста, предложите любые решение или обходной путь, поскольку мои данные - это данные о местоположении, и их размер может превышать 1 МБ.
Например:
Рабочий : выберите * из предела s3объекта 10;
Не работает : выберите * из s3object s, где id = '22'
Мои параметры:
const params = {
Key: 'locationdata2020.csv.gz',
ExpressionType: 'SQL',
Expression: `select * from s3object s where id = '22';`,
InputSerialization: {
CSV: {
FileHeaderInfo: 'USE',
RecordDelimiter: '\n',
FieldDelimiter: ','
},
CompressionType: 'GZIP'
},
OutputSerialization: {
JSON: {
RecordDelimiter: ','
}
}
};