Я использую код al oop в sklearn, чтобы установить векторизатор tfidf для различных значений MINDF. Выходными данными каждого l oop являются две преобразованные матрицы tfidf: Xtrain и Xtest. Каждая матрица имеет форму 34k x 900k. Внутри каждого MINDF l oop есть второе вычисление подобия l oop, где я вычисляю строку X-toptest-1 для Xtest для каждой строки Xtrain. Первая итерация кода работает нормально. После этого код уничтожается для следующей итерации значения MINDF с показанным сообщением «Killed». Я пытался освободить память в конце каждого MINDF l oop, чтобы избежать ошибок памяти, выполнив следующие два трюка. Но это не сработало:
import gc
del Xtrain
del Xtest
gc.collect()