Очень, очень медленная запись из таблицы данных в таблицу SQL Server - PullRequest
Новая
       64

Очень, очень медленная запись из таблицы данных в таблицу SQL Server

0 голосов
/ 01 декабря 2019

Я запускаю приведенный ниже код, и он работает отлично, но это ужин, супер, супер медленный. 

df.write.format('jdbc').options(url='jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name', 
                             dbtable='dbo.my_table', 
                             user='usr', 
                             password='pwd', 
                             batchsize=500000).mode('append').save()

Я думал, что это будет загружать записи в пакетах по 500 Кб за один раз, но когда язапустить код и выполнить подсчет записей в SQL Server после запуска задания, которое обновляет около 50 записей в секунду. Надеюсь, это легко исправить. Спасибо!

...