Как экспортировать полный результат Databricks Azure

Question

Я экспортирую данные из блоков данных вручную с помощью параметра результата полной загрузки, используя команду "display". Пример

display (predictions.select ("productid", "prediction"))

Но он возвращает только 1 000 000, у меня есть еще много записей.Существуют ли какие-либо ограничения для DataBricks в отношении экспорта полного результата?

Что я могу сделать, чтобы загрузить все мои результаты?

Answer 1

Да, блоки данных отображают только ограниченный фрейм данных.Это позволяет загружать данные как CSV, но я думаю, что это также ограничено.Вы можете сохранить фрейм данных в виде таблицы в базе данных блоков данных с помощью:

predictions.select("productid", "prediction").write.saveAsTable("predictions")

Затем вы можете загрузить его с помощью:

predictions = spark.table('predictions')