В настоящее время у меня есть Python-коды, которые создают модели машинного обучения. Данные для этих моделей поступают из локальной базы данных SQLite (мой клиент предоставляет нам данные в корзине S3, я загружаю их на свой компьютер и отправляю в базу данных SQLite). На очень высоком уровне это 3 шага, которые я выполняю на своей машине:
- Загрузить данные из S3 и загрузить в SQLite
- Подключение к SQLite с использованием Python и выполнение очистки, агрегирования и построения данных в Python
- Запишите результаты снова в SQLite
Наш клиент попросил нас предоставить спецификации для настройки сервера Amazon, чтобы мы могли каждый день запускать все эти процессы в виде приложения одним нажатием кнопки. Мы планировали предоставить всю информацию после выполнения вышеупомянутых сквозных шагов, используя нашу учетную запись AWS. У меня нет предыдущего опыта настройки AWS / db, но я хочу узнать больше. У меня следующий вопрос:
- Можно ли повторить описанный выше процесс на AWS? Я использую Python 2.7 и SQLite DB
- Мы не используем никаких отношений в базе данных SQLite при чтении или записи данных (например, ограничения PK и т. Д.). Так что лучше прямо читать и писать с S3
ведро
- Какие компоненты AWS мне нужны? В соответствии с моим пониманием для запуска кода мне нужен EC2 (предоставляет процессор, процессоры и т. Д.), А для хранения, чтения и записи данных мне нужен компонент хранения данных. (Извините, за использование непрофессиональных терминов я новичок и пытаюсь что-то узнать)
- Любые вещи, которые мне нужно иметь в виду? Ссылки на ресурсы, которые могут помочь мне найти решение.
С уважением,
Ишвар