Есть ли доступная панель для структурированного хранения моделей машинного обучения и их файлов конфигурации?

Question

Сохранение различных моделей с соответствующими им файлами конфигурации, отслеживание результатов и параметров, поиск среди них с помощью настроенных фильтров и, возможно, всегда наличие указателя на текущую SOTA может быть довольно экономным.

Я не мог 'даже не найти что-то похожее на TensorFlow Hub на локальном сервере.Прямо сейчас, самый близкий, который я мог получить, является Git LFS.

Есть ли что-нибудь лучше там?

Answer 1

Я нашел ответ. Несколько проектов с открытым исходным кодом пытаются сделать эту работу. Первый из них называется Data Science Version Control или DVC . Который согласно документам:

1. простая командная строка Git-подобный опыт. Не требует установки и обслуживания каких-либо баз данных. Не зависит от каких-либо проприетарных онлайн-сервисов;

2. Управляет наборами данных и моделями машинного обучения. Данные сохраняются в S3, облаке Google, Azure, облаке Alibaba, SSH-сервере, HDFS или даже локальном жестком диске RAID;

3. Делает проекты воспроизводимыми и совместными, помогает ответить на вопрос: «Как была построена модель»;
4. Это помогает управлять экспериментами с тегами Git или ветками и отслеживанием метрик;

Другое возможное решение - это MinIO , который является сервером хранения объектов

подходит для хранения неструктурированных данных, таких как фотографии, видео, файлы журналов, резервные копии и образы контейнеров / виртуальных машин.

Answer 2

В Microsoft Azure есть служба под названием Azure Machine Learnig, которая делает именно это, но значительно расширяет возможности управления / объяснения модели / DevOps и т. Д. Мы также включили бесплатные уровни для многих служб и недавно анонсировали неограниченное количество частных репо на GitHub.