В r, Как вы можете прочитать X количество плоских файлов фиксированной ширины в Y фреймах данных на основе имени файла?

Question

Итак, у меня есть 80 файлов в формате имен файлов:

P.A3588.ACO.CCLF0.D00001.TO30000
P.A3588.ACO.CCLF0.D30001.TO60000
...
P.A3588.ACO.CCLF1.D30001.TO60000    
P.A3588.ACO.CCLF1.D30001.TO60000
...
P.A3588.ACO.CCLF9.D30001.TO60000    
P.A3588.ACO.CCLF9.D30001.TO60000

Существует 80 текстовых файлов фиксированной ширины: 8 частей для каждого из 10 номеров CCLF (CCLF0, CCLF1, ..., CCLF9). Я хочу иметь возможность группировать по номеру CCLF, применять вектор ширины столбца, добавлять имена столбцов и связывать строки частей CCLF.

Ниже то, что я пробовал до сих пор. Это не работает, но дает представление о том, что я пытаюсь.

filenames <- list.files(dataPath)
names <- substr(filenames,13,17)

CCLF1_width <- c(13,6,11,2,10,10,1,1,7,7,2,17,1,2,2,4,1,10,10,10,10,10,2,10,10,10,11,2,2,1,1,1)
CCLF2_width <- c(13,10,11,2,10,10,4,10,5,11,6,10,10,24,17,2,2,2,2,2)
CCLF3_width <- c(13,11,2,2,7,10,11,6,10,10,1)
CCLF4_width <- c(13,11,2,1,2,7,11,6,10,10,7,1)
CCLF5_width <- c(13,10,11,2,10,10,3,2,2,1,2,10,10,5,15,1,7,10,10,2,2,2,10,10,40,11,17,24,2,2,2,2,2,2,7,7,7,7,7,7,7,7,1)
CCLF6_width <- c(13,10,11,2,10,10,1,2,10,10,5,15,1,10,10,2,2,2,10,10,40,11,17,2)
CCLF7_width <- c(13,11,11,2,10,2,20,1,1,24,9,2,20,13,2,10,10,12,9)
CCLF8_width <- c(11,2,3,5,10,1,1,3,2,2,10,10,10,30,15,40,1,1)
CCLF9_width <- c(11,11,10,10,12)
CCLF0_width <- c(11,11)

for (i in length(filenames)){
  assign(paste0(substr(filenames,13,17)),
  read_fwf(grepl("CCLF1",filenames),
  paste0(i,"_width")))
  }

Answer 1

Рассмотрим отображение двух списков одинаковой длины и поэлементно выполняем итерацию с Map (оболочкой для mapply):

cclf_files <- paste0("CCLF", seq(0:9))

cclf_widths <- list(
  CCLF0_width = c(11,11)
  CCLF1_width = c(13,6,11,2,10,10,1,1,7,7,2,17,1,2,2,4,1,10,10,10,10,10,2,10,10,10,11,2,2,1,1,1)
  CCLF2_width = c(13,10,11,2,10,10,4,10,5,11,6,10,10,24,17,2,2,2,2,2)
  CCLF3_width = c(13,11,2,2,7,10,11,6,10,10,1)
  CCLF4_width = c(13,11,2,1,2,7,11,6,10,10,7,1)
  CCLF5_width = c(13,10,11,2,10,10,3,2,2,1,2,10,10,5,15,1,7,10,10,2,2,2,10,10,40,11,17,24,2,2,2,2,2,2,7,7,7,7,7,7,7,7,1)
  CCLF6_width = c(13,10,11,2,10,10,1,2,10,10,5,15,1,10,10,2,2,2,10,10,40,11,17,2)
  CCLF7_width = c(13,11,11,2,10,2,20,1,1,24,9,2,20,13,2,10,10,12,9)
  CCLF8_width = c(11,2,3,5,10,1,1,3,2,2,10,10,10,30,15,40,1,1)
  CCLF9_width = c(11,11,10,10,12)
)

proc_files <- function(f, w) {
    # RETRIEVE FILES WITH CURRENT CCF# IN NAME
    files <- list.files(path = "/path/to/cclf/files", pattern = f)
    print(files)

    # BUILD A LIST OF DFs FROM ALL FILES WITH CURRENT CCF#_width
    df_list <- lapply(files, function(x) {
                   tryCatch(read.fwf(x, widths=w), error = function(e) return(NA))
               })

    # ROW BIND ALL DFs TO FINAL FOR RETURN
    df <- do.call(rbind, df_list)
}

# BUILD A NAMED LIST OF DATA FRAMES FOR EACH CCLF#
df_list <- setNames(Map(proc_files, cclf_files, cclf_widths), cclf_files)

df_list$CCLF0
df_list$CCLF1
df_list$CCLF2
...

Answer 2

Эту проблему можно решить с помощью цикла for и функции. Я написал функцию combine_fwf, чтобы объединить все файлы фиксированной ширины с заданным номером CCLF в один кадр данных. Строка list.files находит все файлы в текущем рабочем каталоге, которые содержат CCLF, где один из ваших номеров (0-9). Затем используйте read.fwf, чтобы прочитать это имя файла в фрейм данных, cbind номер CCLF и привязать его к общему результату.

combine_fwf = function(CCLF_num, colwidths) {
  filenames = list.files(pattern = paste0("CCLF", CCLF_num))
  df_list = vector("list", length(filenames))
  for (i in 1:length(filenames)) {
   df_list[[i]] = cbind.data.frame(CCLF_num, read.fwf(filenames[[i]], 
                                   colwidths)) 
  }
  return(do.call(rbind, df_list))
}

combine_fwf(2, c(12,6))
>>  CCLF_num           V1     V2
1        2 adsfasdfadsf 123123
2        2 lkjhlkjhlkjh  98098
3        2 adsfasdfadsf 123123
4        2 lkjhlkjhlkjh  98098
5        2 adsfasdfadsf 123123
6        2 lkjhlkjhlkjh  98098
> combine_fwf(1, c(12,6))
  CCLF_num           V1     V2
1        1 adsfasdfadsf 123123
2        1 lkjhlkjhlkjh  98098
3        1 adsfasdfadsf 123123
4        1 lkjhlkjhlkjh  98098
5        1 adsfasdfadsf 123123
6        1 lkjhlkjhlkjh  98098