Я работаю над проектом машинного обучения на python, и много раз я обнаруживал, что каждый раз перезапускаю какой-то алгоритм с разными настройками (изменение нескольких параметров, разная нормализация, разработка дополнительных функций и т. Д.).Каждый раз большинство вычислений похожи, за исключением нескольких шагов.Конечно, я могу сохранить некоторые непосредственные состояния на диске и загрузить их в следующий раз вместо того, чтобы вычислять одно и то же снова и снова.
Дело в том, что существует так много таких немедленных результатов, которые сохраняют их вручнуюи вести учет их было бы больно.Я посмотрел на некоторый Python Decorator здесь , который может немного упростить ситуацию.Однако проблема этой реализации заключается в том, что она всегда будет возвращать один и тот же результат с момента первого вызова функции, даже если ваша функция имеет аргументы и, следовательно, должна давать разные результаты для разных аргументов.Мне действительно нужно запомнить вывод функции с разными аргументами.
Я много гуглил на эту тему и самое близкое, что я нашел, это IncPy от Филиппа Го.IncPy (Incremental Python) - это расширенный интерпретатор Python, который ускоряет выполнение сценариев за счет автоматического запоминания (кэширования) результатов длительных вызовов функций и последующего повторного использования этих результатов, а не повторного вычисления, когда это безопасно.
Мне действительно нравится идея, и я думаю, что она будет очень полезна для науки о данных и машинного обучения, но код написан девять лет назад для Python 2.6 и больше не поддерживается.
Итак, мой вопрос в том, есть ли какие-нибудь альтернативные методы автоматического кэширования / запоминания в python, которые могут обрабатывать относительно большой набор данных?