Как использовать метапоток для получения метаданных из s3?

Question

Официальные учебные пособия metaflow показывают, что анализ может быть выполнен с использованием блокнота и метаданных jupyter после запуска сценария. Также я знаю, что metaflow автоматически записывает метаданные в s3. Тогда как я могу получить метаданные от s3 с помощью ноутбука Jupyter? Единственный способ, которым я могу придумать, - это использовать boto3. Я думаю, что могут быть лучшие инструменты.

Answer 1

По умолчанию Metaflow хранит метаданные в вашей локальной файловой системе. Чтобы использовать S3, вы должны настроить Metaflow для фактического использования ресурсов AWS.

Вот общий обзор Metaflow, просто чтобы вы с ним познакомились.

Изучите Metaflow за 10 минут - практическое руководство

Здесь приведены конкретные c рекомендации по его подключению к AWS.

Метапоток при AWS

Answer 2

Вы должны иметь возможность использовать клиент python, предоставленный metaflow для доступа к данным.

пример:

from metaflow import Step
print(Step('DebugFlow/2/a').task.data.x)

Где DebugFlow - имя потока, 2 - номер прогона, a - имя шага, а x - имя переменной артефакта / метаданных, которые вы пытаетесь загрузить.

Это задокументировано здесь: https://docs.metaflow.org/metaflow/client#accessing -data