Как мне работать с большими данными в веб-приложении? - PullRequest
0 голосов
/ 31 октября 2019

Я недавно завершаю личный проект, который включает в себя использование flask, python и pythonanywhere. Я многому научился, и теперь у меня есть новые идеи для личных проектов.

Мой следующий проект включает изменение видеофайлов и преобразование их в файлы других типов, например JPG. Когда я составил план работы моей системы, я быстро понял, что текущая платформа, которую я использую для хостинга веб-приложений, то есть pythonanywhere, будет слишком дорогой и, возможно, даже слишком медленной, поскольку я буду работать с большими файлами.

Я искал и нашел в AWS S3 хранилище файлов, но у меня возникли проблемы с выяснением, как я могу работать с этими данными, чтобы выполнять свои преобразования в python. Я определенно не хочу загружать с S3 оперирование данными в Python, а затем перезагружать конвертированные файлы в корзину. Проект будет доступен для использования в Интернете, поэтому я пытаюсь сделать его максимально надежным и масштабируемым.

Мне было трудно даже сформулировать этот вопрос о том, что задавать, поскольку я не уверен, чтоЯ даже задаю правильные вопросы. Я думаю, я ищу способ манипулировать большими файлами данных, предпочтительно на python, без необходимости работать с данными локально, если это имеет смысл.

Я открыт для изучения новых технологий, если это таки я ищу какое-то руководство о том, как мне достичь этого личного проекта.

1 Ответ

0 голосов
/ 31 октября 2019

Посмотрели ли вы AWS Elastic Transcoder ?

Amazon Elastic Transcoder позволяет конвертировать мультимедийные файлы, хранящиеся в Amazon Simple Storage Service (Amazon S3), в мультимедийные файлыв форматах, требуемых потребительскими устройствами воспроизведения. Например, вы можете конвертировать большие высококачественные цифровые медиафайлы в форматы, которые пользователи могут воспроизводить на мобильных устройствах, планшетах, в веб-браузерах и на подключенных телевизорах.

Как и во всех вещах AWS, естьSDK (например, Python SDK), которые позволяют программно получать доступ к службе.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...