Загрузка файла из ADLS в локальную файловую систему через R имеет ошибку соединения - PullRequest
Новая
       88

Загрузка файла из ADLS в локальную файловую систему через R имеет ошибку соединения

1 голос
/ 03 апреля 2020

Я использую пакеты AzureR для доступа к Azure Хранилищу данных озера из RStudio. Я устанавливаю соединения с помощью приведенного ниже сценария: 

library(AzureRMR)
library(AzureStor)

# setup connections
az <- az_rm$new(tenant="my_tenant_id",
                app="my_app_id",
                password="my_password")

sub <- az$get_subscription("my_subscription_id")
rg <- sub$get_resource_group("my_resource_group_name")
stor <- rg$get_resource(type="Microsoft.Storage/storageAccounts",
                        name="my_datalake_account_name")

stor$do_operation("listKeys", http_verb="POST")

Соединение работает хорошо, и я получил следующий результат: 

attr(,"status")
[1] 200

Затем я загружаю файл и загружаю файл из файла ADLS Система со сценарием ниже: 

fs <- adls_filesystem(
  "https://my_datalake_account_name.dfs.core.windows.net/my_file_system_name", 
  key="my_key"
)
# create new directory
create_adls_dir(fs, "/newdir")
upload_adls_file(
  fs, src = "I:/lookup.csv",
  dest = "/newdir/lookup.csv"
)
download_adls_file(
  fs, src = "/newdir/lookup.csv",
  dest = "J:/lookup.csv"
)

Загрузка работает хорошо, в то время как загрузка показывает следующие ошибки: 

Connection error, retrying (1 of 10)
Connection error, retrying (2 of 10)
Connection error, retrying (3 of 10)
Connection error, retrying (4 of 10)
Connection error, retrying (5 of 10)
Connection error, retrying (6 of 10)
Connection error, retrying (7 of 10)
Connection error, retrying (8 of 10)
Connection error, retrying (9 of 10)
Connection error, retrying (10 of 10)
Error in curl::curl_fetch_memory(url, handle = handle) : 
  Send failure: Connection was reset

Сейчас у меня есть два сервера, на которых я могу работать, однако цель состоит в том, чтобы переключиться на новый сервер и удалить старый сервер. Сценарий хорошо работает на старом сервере, CSV-файл очень мал, поэтому загрузка и загрузка заканчиваются sh в пределах c. Однако на новом сервере загрузка работает хорошо, пока загрузка не удалась. Любые идеи о том, что может вызвать эту проблему? Мне интересно, есть ли какие-либо настройки системы, которые отличаются между двумя серверами, но я действительно новичок в озере данных. Любая помощь будет очень признателен!

1 Ответ

0 голосов
/ 23 апреля 2020

Поскольку этот же скрипт работает на старом сервере, я думаю, если бы я был вами, я мог бы сфокусировать путь "J: /lookup.csv". Является ли J: физическим диском или файловым ресурсом.

В любом случае, я мог бы протестировать что-нибудь более очевидное, например, c или d drive и протестировать эту часть.

...