Манифест для нескольких файлов JSON в S3 - PullRequest
0 голосов
/ 30 октября 2018

Я пытаюсь создать источник данных Quicksight, используя манифест для S3. Данные на S3 - это несколько JSON-документов. Миллионы из них. Я могу создать набор данных, используя один документ, подобный этому:

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3-us-west-2.amazonaws.com/my-bucket/doc1.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}

Однако я хотел бы ВСЕ документы JSON. Я пытаюсь сделать это без успеха:

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3-us-west-2.amazonaws.com/my-bucket/*.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}

Как создать манифест подстановочного знака для документов JSON на S3?

1 Ответ

0 голосов
/ 21 марта 2019

Следующее должно получить все файлы в корзине

{
    "fileLocations": [
        {
            "URIPrefixes": [ 
                "s3://my-bucket/"          
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}
...