Используйте Visual Studio для отправки заданий PySpark в кластеры HDInsight? - PullRequest
0 голосов
/ 16 мая 2018

Не уверен на 100%, является ли этот сайт правильным обменом для моего вопроса, не стесняйтесь вносить предложения.

Я предпочитаю программировать в IDE (в настоящее время в основном использую Spyder), но хочу использовать кластер HDInsight Spark с помощью PySpark. Я предположил, что Visual Studio поддерживает это, так как оба из Microsoft и Visual Studio 2017 могут получить доступ к кластерам HDInsight, ADLS и т. Д., Но это не так? Я что-то упустил?

Самой близкой вещью, которую я нашел, была ссылка о том, что я хочу сделать в Код Visual Studio - действительно ли нет способа сделать это в самой Visual Studio (пока?)

Ответы [ 2 ]

0 голосов
/ 16 мая 2018

На данный момент только VSCode имеет встроенную интеграцию с HDInsight для заданий Python Spark.

0 голосов
/ 16 мая 2018

Да, вы можете отправлять задания, устанавливая HDInsight Tools для Visual Studio. Подробные инструкции см. В Установка инструментов HDInsight и отправка интерактивных запросов PySpark .

Надеюсь, это поможет.

...