Получение OverMaxRecordSize при извлечении отдельной записи из AWS S3 Выберите? - PullRequest
1 голос
/ 04 мая 2020

Я получаю сообщение об ошибке OverMaxRecordSize: число символов в одной записи превышает наш максимальный порог, maxCharsPerRecord: 1,048,576 , когда я пытаюсь извлечь какую-либо конкретную запись из AWS S3, используя selectObjectContent function.

Если я получаю 10 записей, они работают, но если я пытаюсь получить одну из них, значит, она выдает ошибку выше.

Как я вижу, причина ошибки в документации AWS: «Длина записи во входных данных или в результате превышает maxCharsPerRecord, равный 1 МБ.»

Пожалуйста, предложите любые решение или обходной путь, поскольку мои данные - это данные о местоположении, и их размер может превышать 1 МБ.

Например:

Рабочий : выберите * из предела s3объекта 10;

Не работает : выберите * из s3object s, где id = '22'

Мои параметры:

const params = {
      Key: 'locationdata2020.csv.gz',
      ExpressionType: 'SQL',
      Expression: `select * from s3object  s where id = '22';`,
      InputSerialization: {
        CSV: {
          FileHeaderInfo: 'USE',
          RecordDelimiter: '\n',
          FieldDelimiter: ','
        },
        CompressionType: 'GZIP'
      },
      OutputSerialization: {
        JSON: {
          RecordDelimiter: ','
        }

      }
    };
...