Правильное использование aws create-data-set [aws cli] - PullRequest
Новая
       13

Правильное использование aws create-data-set [aws cli]

0 голосов
/ 12 февраля 2020

Я настроил источник данных со следующим: 

aws quicksight create-data-source --cli-input-json file://connection.json

cat connection. json: 

{
    "AwsAccountId": "44455...",
    "DataSourceId": "abcdefg13asdafsad",
    "Name": "randomname",
    "Type": "S3",
    "DataSourceParameters": {
        "S3Parameters": {
            "ManifestFileLocation": {
                "Bucket": "cmunetcoms20",
                "Key": "asn-manifest.json"
            }
          }
        }
}

asn-manifest. json содержит (и является помещается в соответствующее поле): 

{
    "fileLocations": [
        {
            "URIs": [
                "https://cmunetcoms20.s3.us-east-2.amazonaws.com/ASN_Scores.csv"
            ]
        },
        {
            "URIPrefixes": [
                "prefix1",
                "prefix2",
                "prefix3"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "CSV",
        "delimiter": ",",
        "textqualifier": "'",
        "containsHeader": "true"
    }
}

Это успешно создает источник данных, а затем, когда я go для создания набора данных, я использую 

aws quicksight create-data-set --cli-input-json file://skeleton

, скелет содержит: 

{
    "AwsAccountId": "44455...",
    "DataSetId": "generatedDataSetName",
    "Name": "test-asn-demo",
    "PhysicalTableMap": {
        "ASNs": {
            "S3Source": {
                "DataSourceArn": "arn:aws:quicksight:us-east-2:444558491062:datasource/cmunetcoms20162031",
                "InputColumns": [
                {
                "Name": "ASN",
                "Type": "INTEGER"
                },
                {
                "Name": "Score",
                "Type": "DECIMAL"
                },
                {
                "Name": "Total_IPs",
                "Type": "INTEGER"
                },
                {
                "Name": "Badness",
                "Type": "DECIMAL"
                }
                ]
            }
      }
    },
    "ImportMode": "SPICE"
}

Выдает следующую ошибку:

"Произошла ошибка (InvalidParameterValueException) при вызове операции CreateDataSet: входной столбец ASN в физических таблицах ASNs имеет недопустимый тип. Допустимые типы для Физическая таблица S3: [String] "

Если я изменяю каждый тип на" String ", выдается следующая ошибка:

Произошла ошибка (LimitExceededException) при вызове операция CreateDataSet: Недостаточная емкость SPICE

В учетной записи много SPICE, что-то вроде 51 ГБ и почти 0 использования. Кроме того, я запустил числа, и общий объем Spice, который, я думаю, должен использоваться для этого набора данных, составляет приблизительно 0 ГБ. (размер 71k строк, 4 столбца, каждый столбец в виде строки, чтобы дополнить мой расчет).

Спасибо

1 Ответ

0 голосов
/ 12 февраля 2020

Понятно. Решением для меня была проблема региональной конфигурации. Мое ведро s3 было в нас-востоке-2, и мое зрелище было в нас-востоке-1. Попытка создать набор данных в регионе, который не является основной учетной записью (даже если у вас есть предприятие), вызывает ошибку специй, поскольку альтернативным регионам для начала не предоставляется баланс специй.

...