Используйте локальную среду разработки, например визуальный код Microsoft, чтобы использовать дополнительные вычисления

Question

Я пытаюсь найти наилучший способ использования локальной IDE, такой как код Microsoft Visual Studio, для использования распределенной вычислительной мощности. В настоящее время мы собираем данные локально, но это не похоже на устойчивое решение из-за таких причин, как в будущем, масштаб данных будет расти, безопасность облачных данных и т. Д. c. Один из обходных путей, о котором мы подумали, - это туннелирование в инстансы EC2, но хотелось бы услышать, как лучше всего решить эту проблему в среде машинного обучения / науки о данных (мы используем блоки данных и AWS сервисы).

Answer 1

Не уверен, почему вы подключаете IDE к компьютеру. Я использовал VS Code для запуска скриптов против кластера HDInsight. Прежде чем запускать по сценариям, я настраиваю кластеры, с которыми он будет работать. То же самое верно и для блоков данных.