rxDataStep «преобразовать» аргумент, используя квази-кавычку - PullRequest
Новая
       86

rxDataStep «преобразовать» аргумент, используя квази-кавычку

0 голосов
/ 24 декабря 2018

Я пытаюсь использовать синтаксис квази-кавычек (quo, exprs, !! и т. Д.), А также функцию foreach для создания нескольких новых переменных с помощью именованного списка выражений.оценивается внутри функции rxDataStep, в частности, аргумента transforms.Я получаю следующую ошибку: 

Error in rxLinkTransformComponents(transforms = transforms, transformFunc = transformFunc,  : 'transforms' must be of the form list(...)

У меня есть набор данных, который включает в себя ряд переменных, с которыми мне нужно лог-преобразование для выполнения дальнейшего анализа.Я использую функции rx из пакета "RevoScaleR" в течение примерно трех лет и полностью пропустил метод "tidyverse" / конвейер методов преобразования данных.Я иногда балуюсь этими инструментами, но предпочитаю придерживаться вышеупомянутых rx функций, дающих мне относительную знакомость и тот факт, что они до сих пор очень хорошо мне служили.

Как MWE:

Обязательные библиотеки: 

library(foreach)
library(rlang)

Создание переменных, которые необходимо преобразовать в лог. 

vars <- foreach(i = 10:20, .combine = "cbind") %do% rnorm(10, i)

Кадр данных с идентификатором и над переменными. 

data_in <- data.frame(id = 1:10, vars)

Объект, который создает выражения лог-преобразованных переменных;это создает именованный список. 

log_vars <- foreach(i = names(data_in[-1]), .final = function(x) set_names(x, paste0(names(data_in[-1]), "_log"))) %do%
expr(log10(!!sym(i)))

Теперь пытаемся добавить переменные к существующему фрейму данных. 

data_out <- rxDataStep(inData = data_in, transforms = log_vars, transformObjects = list(log_vars = log_vars))

В результате получается следующая ошибка: 

Error in rxLinkTransformComponents(transforms = transforms, transformFunc = transformFunc,  :  'transforms' must be of the form list(...)

Я просто не могу понять ошибку, учитывая, что log_vars определен как именованный список.Можно проверить это с помощью str и typeof.

Я попробовал немного другой способ определения новых переменных: 

log_vars <- unlist(foreach(i = names(data_in[-1]), j = paste0(names(data_in[-1]), "_log")) %do%
exprs(!!j := log10(!!sym(i))))

Я должен использовать unlist, учитывая, чтоexprs доставляет список как вывод уже.В любом случае, я получаю ту же ошибку, что и раньше.

Естественно, я ожидаю, что в фрейм данных будет вставлено 10 новых переменных с именем result.1_log, result.2_log и т. Д.Вместо этого я получаю вышеуказанную ошибку, и новый фрейм данных не создается.

Я подозревал, что функциям rx не нравится работа с синтаксисом квази-цитаты, однако я использовал его раньшекогда необходимо идентифицировать субъектов со значениями NA определенных переменных.Это было сделано с использованием аргумента rowSelection rxDataStep.Я понимаю, что для rowSelection требуется одно логическое выражение, в то время как для transforms требуется именованный список выражений.

Любая помощь будет принята с благодарностью, так как этот тип преобразования данных будет постоянно поддерживаться в моем анализе.Я подозреваю, что я просто не понимаю внутреннюю работу синтаксиса квази-цитаты или, возможно, как списки работают в целом, но, надеюсь, есть простое исправление.

Я использую Microsoft R Open 3.4.3.

Информация о моей сессии следующая:

R Services Information: Local R: C:\Program Files\Microsoft\ML Server\R_SERVER\ Version: 1.3.40517.1016 Operating System: Microsoft Windows 10.0.17134 CPU Count: 4 Physical Memory: 12169 MB, 6810 MB free Virtual Memory: 14025 MB, 7984 MB free Video controller[1]: Intel(R) HD Graphics 620 GPU[1]: Intel(R) HD Graphics Family Video memory[1]: 1024 MB Connected users: 1

1 Ответ

0 голосов
/ 04 января 2019

Я не совсем уверен, что вы пытаетесь сделать, потому что я думаю, что вы сделали вещи слишком сложными.Если все, что вы хотите сделать, это взять журнал каждого # в каждой точке данных, то я покажу два подхода ниже.

  1. Подход # 1 является статическим, вы знаете фиксированное количество столбцов и жесткий кодЭто.В этом подходе rxDataStep работает немного быстрее.
  2. Подход №2 немного более динамичен и использует преимущества transformFunc.transformFunc работает порциями, поэтому его можно безопасно использовать в кластерном режиме.rxDataStep знает, как объединить фрагменты вместе.Но это будет немного ухудшать производительность.
  3. Возможно, вы пытались найти гибридный подход - динамически создать список для параметра transforms в rxDataStep.Я не нашел способ заставить это работать.Вот аналогичный вопрос для этого в rxSetVarInfo ( Измените имя динамической переменной с помощью rxSetVarInfo ), но использование этого подхода пока не принесло мне успеха.

Дайте мне знать, еслиЯ полностью пропустил отметку!

library(foreach)
library(rlang)

startSize <- 10
endSize <- 20
vars <- foreach(i = startSize:endSize, .combine = "cbind") %do% rnorm(10, i)

data_in <- data.frame(vars)
tempInput <- tempfile(fileext = ".xdf")
tempOutput <- tempfile(fileext = ".xdf")

rxImport(inData = data_in, outFile = tempInput, overwrite = T)
rxGetInfo(tempInput, getVarInfo = T)

### Approach #1
print("Approach #1")

rxDataStep(inData = tempInput, outFile = tempOutput, overwrite = T,
       transforms = list(
         log_R1 = log10(result.1),
         log_R2 = log10(result.2),
         log_R3 = log10(result.3),
         log_R4 = log10(result.4),
         log_R5 = log10(result.5),
         log_R6 = log10(result.6),
         log_R7 = log10(result.7),
         log_R8 = log10(result.8),
         log_R9 = log10(result.9),
         log_R10 = log10(result.10),
         log_R11 = log10(result.11)))

rxGetInfo(tempOutput, getVarInfo = T)

### Approach #2
print("Approach #2")

logxform <- function(dataList) {
  numRowsInChunk <- length(dataList$result.1)

  for (j in 1:columnDepth) { 
    dataList[[paste0("log_R",j)]] <- rep(0, times=numRowsInChunk)
    for (i in 1:numRowsInChunk) {
     dataList[[paste0("log_R",j)]][i] <- log10(dataList[[paste0("result.",j)]][i])
    }
  }
  return(dataList)
}
rxDataStep(inData = tempInput, outFile = tempOutput, overwrite = T,
           transformObjects = list(columnDepth = endSize - startSize + 1), 
           transformFunc = logxform)

rxGetInfo(tempOutput, getVarInfo = T)
...