Импорт файла в jupyterlabs из s3

Question

У меня есть файл, который я хочу импортировать в экземпляр Python 3 для Sagemaker Jupyter для использования. Точный код будет «import lstm». Я могу сохранить файл в s3 (что, вероятно, было бы идеально) или локально, в зависимости от того, что вы предпочитаете. Я искал в Интернете некоторое время и не смог найти решение этой проблемы. На самом деле я просто пытаюсь запустить / понять этот код на канале YouTube Сураджа Равала: https://github.com/llSourcell/Bitcoin_Trading_Bot. При запуске запускается строка import lstm, и я пытаюсь понять, как это сделать.

Я пытался: из s3: // ... import lstm. не удалось Я попробовал некоторые методы boto3 и не смог заставить его работать.

import time
import threading
import lstm, etl, json. ##this line
import numpy as np
import pandas as pd
import h5py
import matplotlib.pyplot as plt
configs = json.loads(open('configs.json').read())
tstart = time.time()

Мне бы хотелось иметь возможность импортировать файл lstm и все остальные в экземпляр блокнота Jupyter.

Answer 1

Я думаю, вы должны клонировать репозиторий Github в экземпляре SageMaker, а не импортировать файлы из S3.Мне удалось воспроизвести записную книжку Bitcoin Trading Bot от SageMaker, клонировав ее.Вы можете выполнить следующие шаги

Клонирование Github Repo в SageMaker Notebook

1. Открыть JupyterLab из консоли AWS SageMaker.
2. С панели запуска JupyterLab откройте терминал.
3. Изменить каталог на SageMaker

cd ~/SageMaker

Клонирование торгового робота BitCoin git repo

git clone https://github.com/llSourcell/Bitcoin_Trading_Bot.git
cd Bitcoin_Trading_Bot

Теперь вы можете открыть блокнот Bitcoin LSTM Prediction.ipynb и выбрать ядро ​​Tensorflow для запуска блокнота.

Добавление файлов из локальных файловкомпьютер в SageMaker Notebook

Чтобы добавить файлы с локального компьютера в экземпляр SageMaker Notebook, вы можете использовать функцию загрузки файлов в JupyterLab

Добавление файлов из S3 в SageMaker Notebook

Чтобы добавить файлы из S3 в экземпляр SageMaker Notebook, используйте AWS CLI или Python SDK для выгрузки / загрузки файлов.

Например, чтобы загрузить файл lstm.py из S3 в SageMaker, используя AWS CLI

aws s3 cp s3://mybucket/bot/src/lstm.py .

Используя boto3 API

import boto3
s3 = boto3.resource('s3')
s3.meta.client.download_file('mybucket', 'bot/src/lstm.py', './lstm.py')