Как переименовать столбцы в Sparklyr в R?

Question

Это код, который я использовал в R через Spark Cluster, и ошибка также приведена ниже

mydata<-spark_read_csv(spark_cluster,name = "rd_1",path = "IAF_Extracted_Data_Zipped.csv",header = F,delimiter = "|")

mydata %>% select(customer=V1,device_subscriber_id=V2,user_subscriber_id=V3,user_id=V4,location_id=V5) 

Ошибка в .f (.x [[i]], ...): object 'V1 'не найден

Answer 1

Соглашение о переименовании действует наоборот (new name = old name)

Вам необходимо следующее:

mydata %>% 
    select(V1 = customer,
           V2 = device_subscriber_id,
           V3 = user_subscriber_id,
           V4 = user_id,
           V5 = location_id) 

Answer 2

Если вам нужны конкретные имена, просто укажите вектор имен при чтении:

columns <- c("customer", "device_subscriber_id", 
             "user_subscriber_id", "user_id", "location_id")

spark_read_csv(
   spark_cluster, name = "rd_1",path = "IAF_Extracted_Data_Zipped.csv",
   header = FALSE, columns = columns, delimiter = "|"
)

Число columns должно соответствовать количеству столбцов во входных данных.

Answer 3

В верхней части моей головы вы можете попробовать customer = mydata$V1 и аналогичные для других переменных (при условии, что V1,... - это имена столбцов mydata).