sklearn linear_kernel для создания косинус_схожести - ошибка памяти

Question

Я пытаюсь найти сходство косинусов, используя sklearn TfidfVectorizer, из-за большого размера данных, которые я получаю из-за ошибки памяти

tf = TfidfVectorizer(analyzer='word', ngram_range=(1, 3),max_df=1.0, min_df=0, stop_words='english')
tfidf_matrix = tf.fit_transform(ds['description'])

> cosine_similarities = linear_kernel(tfidf_matrix, tfidf_matrix) <-- Memory Error

Пожалуйста, помогите мне устранить ошибку. Большое спасибо

Answer 1

Если вы получили неожиданный MemoryError и считаете, что у вас достаточно ОЗУ, это может быть связано с тем, что вы используете 32-битную установку Python.

Простое решение, если у вас есть 64-битная операционная система, это переключиться на 64-битную установку python.

Проблема в том, что 32-битный python имеет доступ только к~ 4 ГБ ОЗУ. Это может уменьшиться еще больше, если ваша операционная система является 32-разрядной из-за издержек операционной системы.

подробнее здесь: https://superuser.com/questions/372881/is-there-a-technical-reason-why-32-bit-windows-is-limited-to-4gb-of-ram