Как Aws клей Scala быстро сохраняет DyanamicFrame на столе Афины - PullRequest
0 голосов
/ 28 июня 2018

Я должен сохранить данные AWS Glue в Афине с минимальным временем.

Я успешно сохранил данные AWS Glue, т. Е. DynamicFrame, в таблицу Athena. Но для таблицы 17Gb это занимает около 19-20 минут. Если число используемых DPU равно 100, то я думаю, что это слишком долго В настоящее время я использую метод:

getCatalogSink( database : String,tableName : String,redshiftTmpDir : String = "",transformationContext : String = "") : DataSink

Есть ли способ ускорить процесс? Или текущее требуемое время в порядке?

Спасибо заранее.

...