Я пишу проект машинного обучения для забавы, но натолкнулся на интересную ошибку, которую не могу исправить. Я использую Sklearn (LinearSV C, train_test_split), numpy и несколько других небольших библиотек, таких как коллекции.
Проект является классификатором комментариев - Вы помещаете комментарий, он выплевывает классификация. Проблема, с которой я сталкиваюсь, заключается в том, что ошибка памяти (невозможно выделить 673. МиБ для массива с формой (7384, 11947) и типом данных float64) при выполнении train_test_split для проверки точности классификатора, особенно при вызове модели. fit.
В моей программе найдено 11947 уникальных слов, и у меня большой тренировочный образец (14 769), но у меня никогда не было проблемы, когда у меня не хватало оперативной памяти. Проблема в том, что у меня не хватает оперативной памяти. У меня есть 32 ГБ, но программа в итоге использует менее 1 ГБ, прежде чем она сдастся.
Есть ли что-то очевидное, что мне не хватает?