Может ли чистый сценарий python (не pyspark) выполняться параллельно в кластере в Azure Databricks?

Question

Я хочу перенести свои скрипты Python из локального для запуска в облаке, особенно в кластере, созданном на Azure Databricks .

1. Может ли чистый Python-скрипт работать параллельно (с использованиемнесколько узлов в кластере одновременно) без необходимости преобразования в pyspark?
2. Можно ли проверить, выполняется ли задание параллельно?

Answer 1

1. Нет
2. Если вы отправили задание «спарк», вы можете просмотреть журналы, в которых будет показано количество исполнителей, которых оно использует.Вот как вы узнаете, что работа выполняется параллельно