Ошибка сегментации в Python при добавлении массивов - PullRequest
Новая
       5

Ошибка сегментации в Python при добавлении массивов

0 голосов
/ 27 августа 2018

Я пытаюсь добавить массивы в Python (в Linux), как это: 

from nltk import word_tokenize
data = []
for file_name in file_list:
   with open(file_name, 'r', encoding="utf-8") as file:
      data = data.append(word_tokenize(file.read()))

Мой список_файлов содержит 20 тыс. Файлов, каждый из которых содержит ~ 5 тыс. Слов, и в любой момент процесс python прерывается, и отображается следующее сообщение: 

Segmantation Fault

Как я могу это исправить?

1 Ответ

0 голосов
/ 29 августа 2018

Если это полный код для запуска, это, вероятно, проблема с памятью.

Что такое ОС, Python-версия (включая 32-битную или 64-битную) и доступную оперативную память в машине? Сколько файлов он проходит до ошибки, и всегда ли он дает точное (или подобное) время?

...