Databricks Delta Lake + ADSL + Presto

Question

Databricks только что выпустил предварительный c предварительный просмотр интеграции Delta Lake и Presto . Я новичок в Azure, и в ссылке есть несколько упоминаний EMR и Athena, но нет ключевых слов Azure. Поэтому я должен задать глупый вопрос:

Прав ли я в том, что интеграция с Presto предназначена только для AWS, поскольку Azure не имеет Presto PaaS?

PS Есть ли у Databricks какие-либо планы по интеграции Delta Lake и Synapse / Polybase в ближайшем будущем?

Answer 1

Интеграция Delta Lake Presto основана на "символических ссылках", и они давно поддерживаются в Presto. На Azure вы можете удобно настроить Presto, используя

• Starburst Presto Kubernetes + Azure AKS (рекомендуется)
• Starburst Presto для HDInsights, свободно доступно на торговой площадке HDInsights (более «устаревшая» опция)
• есть также некоторые Azure предложения от Qubole и, возможно, других

Имейте в виду, однако эта интеграция на основе символических ссылок имеет определенные ограничения. Здесь, в Starburst, мы работаем над собственной поддержкой Delta Lake без необходимости создавать «символические ссылки».