Я пытаюсь прочитать файл Avro, используя записную книжку Jupyter в Azure HDInsight 4.0 с Spark 2.4. Я не могу правильно предоставить файл .jar для
Я пробовал подход, предложенный в Как использовать Avro в HDInsight Spark / Jupyter? и в https://docs.microsoft.com/en-in/azure/hdinsight/spark/apache-spark-jupyter-notebook-use-external-packages но я предполагаю, что они связаны со Spark 2.3
%%configure { "conf": {"spark.jars.packages": "com.databricks:spark-avro_2.11:4.0.0" }}
Это приводит к сообщению об ошибке:
pyspark.sql.utils.AnalysisException: 'Не удалось найти источник данных: avro,Avro - встроенный, но внешний источник данных, начиная с версии Spark 2.4. Разверните приложение в соответствии с разделом «Руководство по источникам данных Apache Avro».; '