Проблема записи данных в S3 с Kinesis Firehose, все записи 404 сообщения - PullRequest
Новая
       41

Проблема записи данных в S3 с Kinesis Firehose, все записи 404 сообщения

0 голосов
/ 18 октября 2019

Я установил поток Kinesis Firehose, который успешно запускает «тест» в консоли AWS. Мой код записи в поток выглядит следующим образом: 

return graphqlHTTP(
(request: Object, response: Object, params: Object): Object => {
  const firehoseConfig: Object = {
    region: config.get('awsRegion'),
    credentials = {
      accessKeyId: config.get('awsAccessKey'),
      secretAccessKey: config.get('secretAccessKey'),
    }
  }
  // Init Kinesis Firehose
  const firehose = new AWS.Firehose(firehoseConfig)
  // Prep response object for sending
  const stringifiedResponse = JSON.stringify(response)
  // Send to Kinesis Firehose stream
  const firehoseParams = {
    DeliveryStreamName: 'test-stream',
    Record: {
      Data: Buffer.from(stringifiedResponse),
    },
  }
  firehose.putRecord(firehoseParams, (err: Object, data: Object) => {
    // eslint-disable-next-line no-console
    if (err) console.log('FIREHOSE ERROR: ', err, err.stack)
    // eslint-disable-next-line no-console
    else console.log(data)
  })

Записи записываются в поток при достижении конечной точки, однако все записи выглядят так: 

 {
  "status": 404,
  "message": "Not Found",
  "header": {
    "x-frame-options": "SAMEORIGIN",
    "strict-transport-security": "max-age=86400",
    "x-download-options": "noopen",
    "x-content-type-options": "nosniff",
    "x-xss-protection": "1; mode=block",
    "vary": "Accept-Encoding, Origin",
    "cache-control": "max-age=60, s-maxage=60",
    "access-control-allow-origin": "<redacted internal site>",
    "access-control-allow-credentials": "true",
    "access-control-expose-headers": "content-length,etag",
    "x-ratelimit-remaining": "996",
    "x-ratelimit-reset": "1571372307",
    "x-ratelimit-limit": "1000"
  }
} {
  "status": 404,
  "message": "Not Found",
  "header": {
    "x-frame-options": "SAMEORIGIN",
    "strict-transport-security": "max-age=86400",
    "x-download-options": "noopen",
    "x-content-type-options": "nosniff",
    "x-xss-protection": "1; mode=block",
    "vary": "Accept-Encoding, Origin",
    "cache-control": "max-age=60, s-maxage=60",
    "access-control-allow-origin": "<redacted internal site>",
    "access-control-allow-credentials": "true",
    "access-control-expose-headers": "content-length,etag",
    "x-ratelimit-remaining": "995",
    "x-ratelimit-reset": "1571372307",
    "x-ratelimit-limit": "1000"
  }
}

What I 'Я пытаюсь сделать так, чтобы этот Firehose отправил response на S3, чтобы потом я мог выполнять запросы к нему с Афиной.

1 Ответ

1 голос
/ 19 октября 2019

Оказывается, что 404 от Kinesis, согласно документам , указывает на некорректный запрос. В этом контексте это означает, что Data, предоставляемый в Record, не является допустимым JSON. Объект response, который здесь предоставлен Koa / koa-graphql, является крупным объектом с круговыми ссылками, и где-то в нем недопустимый JSON или JSON, который AWS считает недействительным.

...