Копирование с красным смещением из манифеста Parquet в S3 завершается неудачно и говорит, что для параметра MANIFEST требуется полный путь объекта S3

Question

Я использую Firehose, чтобы поместить записи в формате Parquet в корзину S3. Я вручную определил таблицу склеивания.

Итак, у меня есть манифест вроде

{
  "entries": [
    {"url":"s3://my-bucket/file1.parquet"},
    {"url":"s3://my-bucket/file2.parquet"}
  ]
}

и команда копирования вроде

COPY schema_name.table_name
FROM 's3://my-bucket/manifest.json'
CREDENTIALS 'aws_iam_role=arn:aws:iam::123456:role/RoleWithPermissionToRedshiftAndBucket'
PARQUET
MANIFEST;

И это дает таинственная ошибка, которая имеет 0 результатов в Google.

[XX000][500310] [Amazon](500310) Invalid operation: COPY with MANIFEST parameter requires full path of an S3 object.
Details:
-----------------------------------------------
error:  COPY with MANIFEST parameter requires full path of an S3 object.
code:      8001
context:
query:     23514459
location:  scan_range_manager.cpp:795
process:   padbmaster [pid=108497]
-----------------------------------------------;

Мне кажется, что я определенно указываю полный путь, поэтому я не уверен, что случилось.

Answer 1

Одна ошибка была в том, что корзина находилась в другом регионе, что также не позволяло бы ей работать.

Одна из причин, по которой вы можете получить это сообщение об ошибке, - если корзина находится в другом aws account.

Но то, что на самом деле исправило для меня, это добавление content_length в манифест, поскольку оно требуется для паркета.

{
  "entries": [
    {
      "url":"s3://my-bucket/file1.parquet",
      "mandatory":true,
      "meta":{
        "content_length":2893394
      }
    },
    {
      "url":"s3://my-bucket/file2.parquet",
      "mandatory":true,
      "meta":{
        "content_length":2883626
      }
    }
  ]
}

Очевидно, что если вы оставите content_length вне, вы получите несвязанное сообщение об ошибке. Этот парень совершил ту же ошибку и получил сообщение об ошибке

File has an invalid version number

Ошибка при загрузке файла формата паркета в Amazon Redshift с помощью команды копирования и файла манифеста