Объединение CSV из папки в один CSV в R - PullRequest
Новая
       12

Объединение CSV из папки в один CSV в R

0 голосов
/ 17 мая 2018

Я пытаюсь написать код, который будет принимать файлы из «Inputs_Path» (в настоящее время их 6 .csv), объединять их и выводить в «Outputs_Path»

На данный момент мой код будетчитать файлы в папке просто отлично, но он прерывается, когда попадает в «остальную» часть моего цикла.

Когда я выводю файл, он, очевидно, выводит только первый входной файл.Но я знаю, что вывод работает.

Ошибка, которую я получаю, связана с самими файлами .. как будто я указываю на неправильное место.Вот сообщение об ошибке: 

Error in file(file, "rt") : cannot open the connection
In addition: Warning message:
In file(file, "rt") : cannot open file 'NA': No such file or directory

А вот код: 

Inputs_Path <- "C:/MortgageSafe/Cirt2014-1/Sample"
Output_Path <- "C:/MortgageSafe/Cirt2014-1/BatchOutput"

setwd(Inputs_Path)

file_list<-list.files()
length_file_list<-length(file_list)

for(i in 1:length_file_list){

file_list<- as.character(file_list[i])
#do.call(rbind,lapply(file_list, read.csv, FALSE))
Mortgage_Sims<- read.table(file_list, header=TRUE, sep=",")

if(i == 1){
  Collated_Sims <- Mortgage_Sims
 }

else{
  Collated_Sims <- rbind(Collated_Sims, Mortgage_Sims)
  } 
}
Collated_Sims[, 1]<- noquote(Collated_Sims[, 1])

setwd(Output_Path)
write.table(Collated_Sims, "Collated Sims.csv", sep=",", row.names=FALSE, 
quote=FALSE)

У кого-нибудь есть предложения по остальной части?Заранее спасибо

Ответы [ 3 ]

0 голосов
/ 17 мая 2018

Вот код для загрузки данных, если ваши CSV-файлы имеют одинаковую структуру 

# 1. Set path to the directory with data files
dir_data <- "..."

# 2. Set counter of loaded csv files
file_index <- 0

# 3. Read all csv files into one data set
for(file_name in list.files(dir_data)){

  # 3.1. Define path to csv file
  file_path <- paste0(dir_data, file_name)

  # 3.2. Load csv file
  df_file <- read.csv(file_path)

  # 3.3. Increment counter of loaded files
  file_index <- file_index + 1

  # 3.4. Merge data file with result data set 'df_result'
  if(file_index == 1){
    df_result <- df_file
  } else {
    df_result <- rbind(df_result, df_file)
 }

}
0 голосов
/ 19 мая 2018

Существует так много способов объединить все файлы CSV в один DF. 

setwd("C:/your_path_here")
fnames <- list.files()
csv <- lapply(fnames, read.csv)
result <- do.call(rbind, csv)

filedir <- setwd("C:/your_path_here")
file_names <- dir(filedir)
your_data_frame <- do.call(rbind,lapply(file_names,read.csv))

filedir <- setwd("C:/your_path_here")
file_names <- dir(filedir)
your_data_frame <- do.call(rbind, lapply(file_names, read.csv, skip = 1, header = FALSE))

filedir <- setwd("C:/your_path_here")
file_names <- dir(filedir)
your_data_frame <- do.call(rbind, lapply(file_names, read.csv, header = FALSE))

# 
temp <- setwd("C:/your_path_here")
temp = list.files(pattern="*.csv")
myfiles = lapply(temp, read.delim)
0 голосов
/ 17 мая 2018 
file_list<- as.character(file_list[i])

Вы определяете список файлов как строку здесь, в следующем цикле цикла вы пытаетесь прочитать из второй записи списка, которая теперь является строкой, и в результате получите NA,

Переименуйте file_list в цикле, например, в file_name, и он должен работать 

file_name<- as.character(file_list[i]) 
Mortgage_Sims<-read.table(file_name,header=TRUE, sep=",")
...