Проблема с памятью с фреймом данных 200k записей - PullRequest
Новая
       39

Проблема с памятью с фреймом данных 200k записей

0 голосов
/ 27 июня 2019

Я получил 2 матрицы каждая с 200k записей (одна большая get_sentences - review_phrases, другая review_scores).Привязать их к фрейму данных и нужно записать его на CSV, но получить ошибку памяти.Что я должен делать?Помогают ли пакеты bigmemory или ff?

Я использую 64-разрядную оперативную память Windows 10 на 8 ГБ.пределы памяти дают следующий вывод: 

memory.limit()
[1] 1.759219e+13
memory.size()
[1] 418.85

Вот код: 

  sentiment_matrix_final = data.frame (Comment = review_phrases)

 df_scores = data.frame(Scores = review_scores)

 sentiment_matrix_final = cbind(sentiment_matrix_final, df_scores)

 sentiment_matrix_final = data.frame (Comment = review_phrases, Score = review_scores)

 str(sentiment_matrix_final)


  # Write CSV in R
  write.csv(sentiment_matrix_final, file = "Score_sentiment_test.csv")

Я получаю вывод: 

>sentiment_matrix_final = data.frame (Comment = review_phrases)

> df_scores = data.frame(Scores = review_scores)

> sentiment_matrix_final = cbind(sentiment_matrix_final, df_scores)
Error: cannot allocate vector of size 750 Kb
...