Почему AWS Glue не поддерживает SQL как язык ETL?

Question

В настоящее время он поддерживает Python и Scala, но SQL, очевидно, более естественный и удобный для выражения логики ETL.

Answer 1

В настоящее время я думаю, что, хотя Athena построена на основе Presto, Glue построена на основе Spark, грамматика SQL для Presto и Spark не совпадает, если Glue представляет SQL как язык ETL первого класса, это будет вызвать путаницу у конечного пользователя.

Answer 2

Клей продается как Spark без сервера, что делает его естественным образом поддерживающим Python и Scala. Помните, что с некоторым стандартным кодом вы можете использовать Spark SQL.