Надеюсь, у вас все хорошо.
В настоящее время мы изучаем варианты загрузки SQL серверных таблиц с использованием PySpark в DataBricks. У нас есть различные источники, включая файлы и таблицы. Мы используем python в качестве базы, поскольку ее проще связать с другой существующей кодовой базой.
Вопрос 01:
Нам было рекомендовано использовать Spark Connector для подключения к SQL Сервер (как локальный, так и облачный)?
https://docs.microsoft.com/en-us/azure/sql-database/sql-database-spark-connector
Приведенная выше ссылка от MS ясно показывает, что Scala является зависимостью. Можно ли использовать вышеуказанный разъем только с Scala? Может ли оно быть использовано с Python? Если да, то как нам вызывать драйверы и методы внутри него.
Вопрос 02:
Каков наилучший способ включить / импортировать / получить доступ к библиотекам, драйверам из файлов JAR или другим библиотекам Maven в python код. В python обычно у нас есть модуль, из которого мы импортируем необходимые библиотеки. Скажем, у нас есть несколько библиотек, установленных в Databricks с использованием координат Maven и других автономных JAR-файлов, как нам получить к ним доступ в Python скриптах.
Надеюсь, приведенных выше сведений достаточно. Заранее благодарю всех за помощь и предложения. Приветствия ...