Задача:
Пусть df будет фреймом данных искры. Мы хотим заменить значение n в df на NA.
В R я бы просто написал
df[df==n] <- NA
Проблемы / вопросы:
(поскольку я новичок в Spark, любые комментарии приветствуются)
- Что в SparkR эквивалентно
NA?
Я нашел такие функции, как isNull и isNAN, и я запутался, если есть некоторые различия.
Я смог сделать это в одном столбце col1, используя ifelse, т.е.
df[[col1]] <- ifelse( df[[col1]] == n, NA, df[[x]])
но я не смог "парализовать" его.
Я пытался:
df <- spark.lapply(colnamed(df), function(x) {ifelse(df[[x]] == n, NA , df[[x]])})
но я получил сообщение
Задание прервано из-за сбоя этапа
которого я не понимаю.