Блок данных: спарк-чтение из Azure SQL Ошибка DW

Question

В настоящее время в моей записной книжке используется

spark.read \  
  .format("com.databricks.spark.sqldw")\  
  .option("url", myurl)

для чтения данных из Azure SQL DW. Но теперь внезапно возникает ошибка: Причина: java .lang.IllegalArgumentException: неожиданная версия возвращается: Microsoft Azure Synapse SQL Analytics - 10.0.10887.0 De c 18 2019 21:47:50 Copyright (c) Корпорация Microsoft. Убедитесь, что ваш JDB C URL содержит опцию «database =» и указывает на действительное Azure SQL имя хранилища данных. Этот соединитель нельзя использовать для взаимодействия с другими системами, кроме DW (например, Azure SQL Базы данных).

что происходит ???

при использовании

spark.read \  
  .format("jdbc")\  
  .option("url", myurl)

это нормально. почему?

Answer 1

Проблема возникла из-за изменения имени Azure Хранилище данных Microsoft. Я столкнулся с той же проблемой сегодня и поднял ее в службу поддержки Microsoft. Они работают над откатом в данный момент. Надеюсь скоро увидеть резолюцию.