ModuleNotFoundError: нет модуля с именем «pyspark.dbutils»

Question

Я использую pyspark из ноутбука Azure Machine Learning. Я пытаюсь переместить файл с помощью модуля dbutil.

from pyspark.sql import SparkSession
    spark = SparkSession.builder.getOrCreate()
    def get_dbutils(spark):
        try:
            from pyspark.dbutils import DBUtils
            dbutils = DBUtils(spark)
        except ImportError:
            import IPython
            dbutils = IPython.get_ipython().user_ns["dbutils"]
        return dbutils

    dbutils = get_dbutils(spark)
    dbutils.fs.cp("file:source", "dbfs:destination")

Я получил эту ошибку: ModuleNotFoundError: Нет модуля с именем 'pyspark.dbutils' Есть ли обходной путь для этого?

Вот ошибка в другом Azure ноутбуке машинного обучения:

---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-1-183f003402ff> in get_dbutils(spark)
      4         try:
----> 5             from pyspark.dbutils import DBUtils
      6             dbutils = DBUtils(spark)

ModuleNotFoundError: No module named 'pyspark.dbutils'

During handling of the above exception, another exception occurred:

KeyError                                  Traceback (most recent call last)
<ipython-input-1-183f003402ff> in <module>
     10         return dbutils
     11 
---> 12 dbutils = get_dbutils(spark)

<ipython-input-1-183f003402ff> in get_dbutils(spark)
      7         except ImportError:
      8             import IPython
----> 9             dbutils = IPython.get_ipython().user_ns["dbutils"]
     10         return dbutils
     11 

KeyError: 'dbutils'

Answer 1

Это известная проблема с утилитами Databricks - DButils.

Большинство DButils не поддерживаются для Databricks Connect. Единственными частями, которые работают, являются fs и секреты .

Ссылка: Подключение базы данных - ограничения и Известные проблемы .

Примечание: В настоящее время fs и секреты работы (локально). Виджеты (!!!), библиотеки et c не работают. Это не должно быть серьезной проблемой. Если вы выполняете для блоков данных с помощью Python Задача, dbutils завершится с ошибкой:

ImportError: No module named 'pyspark.dbutils'

Я могу успешно выполнить запрос, запустив его как записную книжку.