Чтение данных в хранилище BLOB-объектов в Databricks - PullRequest
Новая
       20

Чтение данных в хранилище BLOB-объектов в Databricks

0 голосов
/ 13 февраля 2020

Попытка прочитать мои данные в хранилище больших двоичных объектов из DataBricks 

spark.conf.set(
  "fs.azure.account.key.ACCOUNTNAME.blob.core.windows.net",
  "MYKEY")

Это должно позволить подключиться к моему хранилищу больших двоичных объектов

Затем, согласно документации , это должен быть легкий доступ к файлу в моем BLOB-объекте.

Я много чего перепробовал, ничего не получается

Один пример 

blob_url = "https://ACCOUNTNAME.blob.core.windows.net/BLOBNAME/PATH/file"
df=pd.read_csv(blob_url)

return

Ошибка HTTP 404: указанный ресурс не существует.

Есть идеи? При необходимости я могу показать все свои попытки с сообщением об ошибке

Другая ошибка 

%scala

dbutils.fs.ls("wasbs://ACCOUNTNAME@BLOBNAME.blob.core.windows.net/PATH")

shaded.databricks.org. apache .had oop .fs. azure .AzureException: shaded.databricks.org. apache .had oop .fs. azure .AzureException: контейнер BLOBNAME в учетной записи ACCOUNTNAME.blob.core. windows. net не найден, и мы можем не создайте его, используя анонимные учетные данные, и в конфигурации не найдено учетных данных для них.

1 Ответ

2 голосов
/ 13 февраля 2020

Вы можете получить приведенный ниже код для чтения данных из хранилища BLOB-объектов, используя Azure Блоки данных. 

# Set up an account access key:
# Get Storage account Name and 

spark.conf.set("fs.azure.account.key.chepra.blob.core.windows.net", "gv7nVISerl8wbK9mPGm8TC3CQIEjV3Z5dQxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxldlOiA==")
df = spark.read.csv("wasbs://sampledata@chepra.blob.core.windows.net/Azure/AzureCostAnalysis.csv", header="true")
df.show()

enter image description here

Для dbutils.fs. Нет необходимости использовать волшебные c ячейки, такие как% scala, вы можете использовать приведенный ниже код для получения результатов всех файлов в контейнере: 

# Get file information 
dbutils.fs.ls("wasbs://sampledata@chepra.blob.core.windows.net/Azure")

enter image description here

Надеюсь, это поможет. Сообщите нам, если у вас возникнут дополнительные вопросы.

...