Я предварительно обработал большой объем данных (совпадения Левенштейна, расположения массивов и т. Д.), Которые я сохранил в маринованных объектах. Когда моя программа запускается, она выполняет операции с подмножеством этих данных, поэтому сначала она просматривает и извлекает данные, необходимые для последующей обработки. Я ускорил этот процесс, используя метод numba njit, но хотел бы: 1) иметь возможность запускать этот метод параллельно и 2) не нужно импортировать через них объекты / цикл python для создания объектов numba.
Многопроцессорная обработка может быть выполнена с использованием метода между ними, но в настоящий момент я выполняю это в Windows, с порожденными, а не разветвленными процессами, и пытаюсь прочитать засоленные объекты / создать вложенные списки numba иDicts четыре раза одновременно приводит к сбою моей системы.
Если не учитывать особенности программы, как можно сериализовать, скажем, объект типа DictType [unicode_type, ListType [unicode_type]]? Травление приводит к ошибке, что MemInfo не может быть протравлена. Я искал исходный код в течение нескольких часов и вижу такие вещи, как упаковка и распаковка, но с такими параметрами, как (typ, val, c), которые я не смог собрать вместе. Кто-нибудь может помочь?