R фатальная ошибка при выполнении команды grep и простой rhdfs - PullRequest
Новая
       23

R фатальная ошибка при выполнении команды grep и простой rhdfs

0 голосов
/ 04 сентября 2018

Я пытаюсь разбить некоторые файлы журнала, используя R через пакеты 'rhdfs' и 'rmr2'. источник находится в локальном каталоге Linux в облаке, а папка назначения, в которой я пытался сохранить файл, находится в кластере HDFS.

Код работал нормально до прошлой ночи, когда он просто перестал работать, выдавая несколько ошибок, каждый раз отличающихся. Конфигурация системы была такой же, как и раньше. Я попытался запустить все строки одну за другой, и теперь я получаю сообщение об ошибке: 

# A fatal error has been detected by the Java Runtime 
Environment:
#
#  SIGSEGV (0xb) at pc=0x00007fddc769ab15, pid=8466, tid=0x00007fddc9fa4940
#
# JRE version: OpenJDK Runtime Environment (8.0_181-b13) (build 1.8.0_181-b13)
# Java VM: OpenJDK 64-Bit Server VM (25.181-b13 mixed mode linux-amd64 compressed oops)
# Problematic frame:
# C  [libc.so.6+0x82b15]

Я запускаю следующий код, и до этого он работал нормально, 

filenames <- hdfs.ls("new")$file
f<-lapply(regmatches(filenames,regexec("/user/akashb/new/(.*)",filenames)), `[`, 2L)

  x <- from.dfs(filenames[1],format="text") $val
  tf <- as.character(f[1])
  dts <- paste("/user/akashb/new2/",tf, ".csv", sep = "")

значение в х также показывает отлично. но потом, когда я пытаюсь бежать: 

x <- x[grep("ads.xxx.com",x,ignore.case = T,invert=T)]

показанная выше ошибка. («Неустранимая ошибка ...») Кроме того, когда я запускал скрипт через оболочку unix, генерировалась ошибка: 

*** caught segfault ***
address 0x1d146408, cause 'memory not mapped'

Я совсем не знаком с Java , поэтому я не могу диагонали ошибку вообще. Я попробовал некоторые рекомендованные методы stackoverflow, такие как удаление и переустановка всех пакетов, которые не являются базовыми, но они были бесполезны . Любая помощь будет оценена.

...