Многопроцессорность, кажется, делает эту работу. Но не уверен, что это лучший способ.
Пока это работает, пока не будет найдено лучшее решение.
Редактировать: Обнаружено, что mongodb является частью проблемы. Выполнение массового удаления и массовой вставки постоянно приводит к потере оперативной памяти.
def CSV_TO_MONGO:
'''
'''
from multiprocessing import Process
while True:
p = Process(target=CSV_TO_MONGO)
p.start()
p.join()