Самый быстрый способ загрузить 3 миллиона объектов из корзины S3 - PullRequest
Новая
       25

Самый быстрый способ загрузить 3 миллиона объектов из корзины S3

29 голосов
/ 18 января 2011

Я пытался использовать Python + boto + многопроцессорность, S3cmd и J3tset, но борюсь со всеми из них.

Есть предложения, возможно, готовый скрипт, который вы использовали, или другой способ, о котором я не знаю?

EDIT:

eventlet + boto - это стоящее решение, как упомянуто ниже. Нашел хорошую справочную статью на Eventlet здесь http://web.archive.org/web/20110520140439/http://teddziuba.com/2010/02/eventlet-asynchronous-io-for-g.html

Ниже я добавил скрипт Python, который сейчас использую.

Ответы [ 2 ]

33 голосов
/ 18 января 2011

Хорошо, я нашел решение, основанное на подсказке @Matt Billenstien.Он использует библиотеку событий.Первый шаг наиболее важен (патч стандартного ввода-вывода).

Запустите этот скрипт в фоновом режиме с помощью nohup, и все готово. 

from eventlet import *
patcher.monkey_patch(all=True)

import os, sys, time
from boto.s3.connection import S3Connection
from boto.s3.bucket import Bucket

import logging

logging.basicConfig(filename="s3_download.log", level=logging.INFO)


def download_file(key_name):
    # Its imp to download the key from a new connection
    conn = S3Connection("KEY", "SECRET")
    bucket = Bucket(connection=conn, name="BUCKET")
    key = bucket.get_key(key_name)

    try:
        res = key.get_contents_to_filename(key.name)
    except:
        logging.info(key.name+":"+"FAILED")

if __name__ == "__main__":
    conn = S3Connection("KEY", "SECRET")
    bucket = Bucket(connection=conn, name="BUCKET")

    logging.info("Fetching bucket list")
    bucket_list = bucket.list(prefix="PREFIX")

    logging.info("Creating a pool")
    pool = GreenPool(size=20)

    logging.info("Saving files in bucket...")
    for key in bucket.list():
        pool.spawn_n(download_file, key.key)
    pool.waitall()
5 голосов
/ 18 января 2011

Используйте eventlet, чтобы обеспечить параллелизм ввода / вывода, напишите простую функцию для загрузки одного объекта с помощью urllib, затем используйте GreenPile, чтобы отобразить это в список входных URL-адресов - куча с 50-100 гринлетами должна подойти ...

...