zeppelin 8.1 на emr 5.27 при сохранении ноутбуков на S3 не может изменить значение ХРАНЕНИЯ - PullRequest
Новая
       55

zeppelin 8.1 на emr 5.27 при сохранении ноутбуков на S3 не может изменить значение ХРАНЕНИЯ

0 голосов
/ 02 октября 2019

Я хочу использовать Zeppelin с моим искровым EMR-кластером, но я не понимаю, как сохранить мои ноутбуки на s3.

Вот классификационная конфигурация, которую я даю EMR: 

{
        "classification": "zeppelin-env",
        "configurations": [
            {
                "classification": "export",
                "properties": {
                    "ZEPPELIN_NOTEBOOK_S3_ENDPOINT": "https://s3.console.aws.amazon.com/s3/buckets/bucket-data-pipeline/?region=eu-west-2",
                    "ZEPPELIN_NOTEBOOK_S3_BUCKET": "bucket-data-pipeline",
                    "ZEPPELIN_NOTEBOOK_S3_USER": "anonymous",
                    "ZEPPELIN_NOTEBOOK_STORAGE":"org.apache.zeppelin.notebook.repo.GitNotebookRepo,org.apache.zeppelin.notebook.repo.S3NotebookRepo"
                }
            }
        ],
        "properties": {}
    }

Пока что я вижу, что конфигурация меняется на панели конфигурации от Zeppelin: 

zeppelin.notebook.s3.bucket: bucket-data-pipeline
zeppelin.notebook.s3.endpoint: https://s3.console.aws.amazon.com/s3/buckets/bucket-data-pipeline
zeppelin.notebook.s3.sse: false
zeppelin.notebook.s3.user: anonymous
zeppelin.notebook.storage: org.apache.zeppelin.notebook.repo.GitNotebookRepo, (<- ?)

, но, как вы можете видеть, хранилище не принимает S3NotebookRepo. Если я поставлю только «org.apache.zeppelin.notebook.repo.S3NotebookRepo», Zeppelin даже не запустится должным образом.

Есть идеи, как правильно настроить это с помощью EMR?

Что касается IAM,кластер EMR работает с EMR_DefaultRole по умолчанию, который имеет чтение / запись в s3

...