Подключитесь к серверу minIO, используя Apache дрель - PullRequest
Новая
       61

Подключитесь к серверу minIO, используя Apache дрель

0 голосов
/ 30 марта 2020

Я сохранил несколько объектов в корзине s3 на сервере minIO. Мой сервер minio работает на https://10.177.218.8: 9000 , а моя apache развертка работает на локальном компьютере. Я хочу запросить эти объекты, используя Apache Drill. Я следовал этой документации https://blog.minio.io/query-minio-datastore-with-apache-drill-dcaf71d0cee5

Я внес следующие изменения

Я создал базовый сайт. xml 

<property>
    <name>fs.s3a.access.key</name>
    <value>minio_server</value>
</property>

<property>
    <name>fs.s3a.secret.key</name>
    <value>minio_password</value>
</property>

<property>
  <name>fs.s3a.endpoint</name>
  <value>https://10.177.218.8:9000</value>
</property>

<property>
  <name>fs.s3a.connection.ssl.enabled</name>
  <value>true</value>
</property>

<property>
  <name>fs.s3a.path.style.access</name>
  <value>true</value>
</property>

 </configuration>

Я внес следующие изменения в плагин s3 

{
  "type": "file",
 "connection": "s3a://sample/bucket/",
 "config": {
"fs.s3a.endpoint": "https://10.177.218.8:9000",
"fs.s3a.access.key": "minio_server",
"fs.s3a.secret.key": "minio_password"
 },
"workspaces": {
"tmp": {
  "location": "/tmp",
  "writable": true,
  "defaultInputFormat": null,
  "allowAccessOutsideWorkspace": false
},
"root": {
  "location": "/",
  "writable": false,
  "defaultInputFormat": null,
  "allowAccessOutsideWorkspace": false
}
},
"formats": {
"psv": {
  "type": "text",
  "extensions": [
    "tbl"
  ],
  "delimiter": "|"
},
"csv": {
  "type": "text",
  "extensions": [
    "csv"
  ],
  "delimiter": ","
},
"tsv": {
  "type": "text",
  "extensions": [
    "tsv"
  ],
  "delimiter": "\t"
},
"parquet": {
  "type": "parquet"
},
"json": {
  "type": "json",
  "extensions": [
    "json"
  ]
},
"avro": {
  "type": "avro"
},
"sequencefile": {
  "type": "sequencefile",
  "extensions": [
    "seq"
  ]
},
"csvh": {
  "type": "text",
  "extensions": [
    "csvh"
  ],
  "extractHeader": true,
  "delimiter": ","
},
"ltsv": {
  "type": "ltsv",
  "extensions": [
    "ltsv"
  ]
},
"syslog": {
  "type": "syslog",
  "extensions": [
    "syslog"
  ]
},
"excel": {
  "type": "excel"
},
"shp": {
  "type": "shp"
  }
  },
  "enabled": true
}

Я не могу подключиться к хранилищу s3 на сервере minio из apache drill. Чего мне не хватает?

...