Только для блоков данных распечатывается около 280 строк данных

Question

Я выполняю несколько крупных заданий в Databricks, которые на данный момент включают инвентаризацию озера данных. Я пытаюсь распечатать все имена BLOB-объектов внутри префикса (подпапки). В этих подпапках много файлов, и я печатаю около 280 строк имен файлов, но потом я вижу это: *** WARNING: skipped 494256 bytes of output *** Затем я печатаю еще 280 строк.

Я предполагаю, что есть контроль, чтобы изменить это, верно. Я конечно надеюсь на это. Это предназначено для работы с БОЛЬШИМИ данными, а не с ~ 280 записями. Я понимаю, что огромные наборы данных могут легко привести к сбою браузера, но обычно это ничего не значит.

Answer 1

Примечание: С помощью графического интерфейса пользователя вы можете загрузить полные результаты (максимум 1 миллион строк).

Загрузить полностьюрезультатов (более 1 миллиона), сначала сохраните файл в dbfs, а затем скопируйте файл на локальный компьютер, используя Databricks cli, как показано ниже.

dbfs cp "dbfs: /FileStore/tables/AA.csv"" A: \ AzureAnalytics "

Ссылка: Файловая система блоков данных

Интерфейс командной строки DBFS (CLI) использует интерфейс командной строки (CLI)DBFS API предоставляет простой в использовании интерфейс командной строки для DBFS. Используя этот клиент, вы можете взаимодействовать с DBFS, используя команды, аналогичные тем, которые вы используете в командной строке Unix. Например:

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

Ссылка: Установка и настройка интерфейса данных Azure CLI

Надеюсь, это поможет.

Answer 2

После небольшого исследования я наткнулся на кое-что, что сработало для меня.

Кроме того, это будет отображать содержимое кадра данных,

display(df)

Итак, это создаст вид, который вы видите прямо выше.