Автоматизируйте предварительную обработку данных в AWS sagemaker

Question

Есть ли способ автоматизировать предварительную обработку данных на Sagemaker на еженедельной основе, предварительная обработка может включать в себя множество простых преобразований данных в мегабайтах из S3.

Моя идея автоматизации подобна запуску сценария или экземпляра ноутбука, который может запускаться еженедельно

Answer 1

Рассматривали ли вы использовать Lambda + CloudWatch Event / Rule?Вы можете написать лямбда-функцию, которая создаст задание SageMaker и создаст правило события CloudWatch, чтобы запускать его раз в неделю.Поэтому вам не нужно, чтобы экземпляр ноутбука работал 24 часа в сутки.

Вот пример - https://docs.aws.amazon.com/AmazonCloudWatch/latest/events/RunLambdaSchedule.html

Надеюсь, это поможет!