ML Spark работа в лазурных блоках данных

Question

В настоящее время мы используем задания pyspark ML в кластере Azure HDInsight (версия: HDI 3.6).Можно ли использовать те же задания pyspark в блоках данных Azure без особых изменений?

Заранее спасибо!

Answer 1

Я бы сказал, что да, но учтите следующее:

• Убедитесь, что версии Python и Spark вашего кластера HDInsight похожи или совместимы с средой выполнения Databricks выбран для кластера.
• Вы используете какую-либо внешнюю библиотеку?Если это так, импортируйте его в рабочее пространство и прикрепите к кластеру.
• Какой источник данных вы используете для своей работы?Возможно, вам придется смонтировать источник данных в рабочую область блоков данных, например, чтобы смонтировать хранилище больших двоичных объектов (https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html#mount-azure-blob-storage-containers-with-dbfs)

Надеюсь, эта информация поможет вам

С уважением

Хуан