Прямая загрузка на S3 Использование Python / Boto / Django для построения политики - PullRequest
5 голосов
/ 20 августа 2011

До сих пор я проходил много итераций этой проблемы, искал много разных примеров и изучал всю документацию.

Я пытаюсь объединить Plupload (http://www.plupload.com/) сМетод прямой публикации AWS S3 (http://aws.amazon.com/articles/1434). Однако, я считаю, что что-то не так с тем, как я строю свою политику и подпись для передачи. Когда я отправляю форму, я не получаю ответ от сервера, носкорее мое соединение с сервером сброшено.

Я попытался использовать код Python в примере:

import base64
import hmac, sha

policy = base64.b64encode(policy_document)

signature = base64.b64encode(
hmac.new(aws_secret_key, policy, sha).digest())

Я также попытался использовать более современную библиотеку hashlibв Python. Какой бы метод я не использовал для построения своей политики и подписи, я всегда получаю значения, отличные от сгенерированных здесь:

http://s3.amazonaws.com/doc/s3-example-code/post/post_sample.html

Я прочитал этот вопрос:

Как мне сделать выгрузку Plupload напрямую в Amazon S3?

Но я нашел представленные примеры слишком сложными и не смог их точноРеализуйте их.

Мои последние попытки были использовать части библиотеки boto:

http://boto.cloudhackers.com/ref/s3.html#module-boto.s3.connection

Но использование метода S3Commection.build_post_form_args не работает дляЯ тоже.

Если бы кто-нибудь мог предоставить хороший пример того, как создать форму сообщения с использованием Python, я был бы очень признателен.Даже несколько простых идей о том, почему соединение всегда сбрасывается, было бы неплохо.

Некоторые предостережения:

Я хотел бы использовать hashlib, если это возможно.Я хочу получить XML-ответ от Amazon (предположительно, "success_action_status = '201'" делает это). Мне нужно иметь возможность загружать файлы большого размера, максимальный размер ~ 2 ГБ.

Последнее замечание при запускеэто в Chrome, он обеспечивает прогресс загрузки, и загрузка обычно завершается с ошибкой около 37%.

Ответы [ 4 ]

4 голосов
/ 02 декабря 2013

Ответ Натана помог мне начать. Я включил два решения, которые в настоящее время работают на меня.

Первое решение использует простой Python. Второй использует Бото.

Сначала я попытался заставить бото работать, но продолжал получать ошибки. Поэтому я вернулся к документации по Amazon ruby ​​и получил S3 для приема файлов с использованием python без boto. ( Загрузка браузера в S3 с использованием HTML POST )

Поняв, что происходит, я смог исправить свои ошибки и использовать boto, что является более простым решением.

Я включаю решение 1, потому что оно явно показывает, как настроить документ политики и подпись, используя python.

Моя цель состояла в том, чтобы создать страницу загрузки html как динамическую страницу вместе со страницей «успеха», которую пользователь видит после успешной загрузки. Решение 1 показывает динамическое создание страницы загрузки формы, в то время как решение 2 показывает создание страницы формы загрузки и страницы успеха.

Решение 1:

import base64
import hmac, hashlib

###### EDIT ONLY THE FOLLOWING ITEMS ######

DEBUG = 1
AWS_SECRET_KEY = "MySecretKey"
AWS_ACCESS_KEY = "MyAccessKey"
HTML_NAME = "S3PostForm.html"
EXPIRE_DATE = "2015-01-01T00:00:00Z" # Jan 1, 2015 gmt
FILE_TO_UPLOAD = "${filename}"
BUCKET = "media.mysite.com"
KEY = ""
ACL = "public-read" # or "private"
SUCCESS = "http://media.mysite.com/success.html"
CONTENT_TYPE = ""
CONTENT_LENGTH = 1024**3 # One gigabyte
HTTP_OR_HTTPS = "http" # Or "https" for better security
PAGE_TITLE = "My Html Upload to S3 Form"
ACTION = "%s://%s.s3.amazonaws.com/" % (HTTP_OR_HTTPS, BUCKET)

###### DON'T EDIT FROM HERE ON DOWN ######

policy_document_data = {
"expire": EXPIRE_DATE,
"bucket_name": BUCKET,
"key_name": KEY,
"acl_name": ACL,
"success_redirect": SUCCESS,
"content_name": CONTENT_TYPE,
"content_length": CONTENT_LENGTH,
}

policy_document = """
{"expiration": "%(expire)s",
  "conditions": [ 
    {"bucket": "%(bucket_name)s"}, 
    ["starts-with", "$key", "%(key_name)s"],
    {"acl": "%(acl_name)s"},
    {"success_action_redirect": "%(success_redirect)s"},
    ["starts-with", "$Content-Type", "%(content_name)s"],
    ["content-length-range", 0, %(content_length)d]
  ]
}
""" % policy_document_data

policy = base64.b64encode(policy_document)
signature = base64.b64encode(hmac.new(AWS_SECRET_KEY, policy, hashlib.sha1).digest())

html_page_data = {
"page_title": PAGE_TITLE,
"action_name": ACTION,
"filename": FILE_TO_UPLOAD,
"access_name": AWS_ACCESS_KEY,
"acl_name": ACL,
"redirect_name": SUCCESS,
"policy_name": policy,
"sig_name": signature,
"content_name": CONTENT_TYPE,
}

html_page = """
<html> 
 <head>
  <title>%(page_title)s</title> 
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
 </head>
<body>
 <form action="%(action_name)s" method="post" enctype="multipart/form-data">
  <input type="hidden" name="key" value="%(filename)s">
  <input type="hidden" name="AWSAccessKeyId" value="%(access_name)s">
  <input type="hidden" name="acl" value="%(acl_name)s">
  <input type="hidden" name="success_action_redirect" value="%(redirect_name)s">
  <input type="hidden" name="policy" value="%(policy_name)s">
  <input type="hidden" name="signature" value="%(sig_name)s">
  <input type="hidden" name="Content-Type" value="%(content_name)s">

  <!-- Include any additional input fields here -->

  Browse to locate the file to upload:<br \> <br \>

  <input name="file" type="file"><br> <br \>
  <input type="submit" value="Upload File to S3"> 
 </form> 
</body>
</html>
""" % html_page_data

with open(HTML_NAME, "wb") as f:
    f.write(html_page)

###### Dump output if testing ######
if DEBUG:

    if 1: # Set true if not using the LEO editor
        class G:
            def es(self, data):print(data)
        g = G()

    items = [
    "",
    "",
    "policy_document: %s" % policy_document,
    "ploicy: %s" % policy,
    "signature: %s" % signature,
    "",
    "",
    ]
    for item in items:
        g.es(item)

Решение 2:

from boto.s3 import connection

###### EDIT ONLY THE FOLLOWING ITEMS ######

DEBUG = 1
AWS_SECRET_KEY = "MySecretKey"
AWS_ACCESS_KEY = "MyAccessKey"
HTML_NAME = "S3PostForm.html"
SUCCESS_NAME = "success.html"
EXPIRES = 60*60*24*356 # seconds = 1 year
BUCKET = "media.mysite.com"
KEY = "${filename}" # will match file entered by user
ACL = "public-read" # or "private"
SUCCESS = "http://media.mysite.com/success.html"
CONTENT_TYPE = "" # seems to work this way
CONTENT_LENGTH = 1024**3 # One gigabyte
HTTP_OR_HTTPS = "http" # Or https for better security
PAGE_TITLE = "My Html Upload to S3 Form"

###### DON'T EDIT FROM HERE ON DOWN ######

conn = connection.S3Connection(AWS_ACCESS_KEY,AWS_SECRET_KEY)
args = conn.build_post_form_args(
    BUCKET,
    KEY,
    expires_in=EXPIRES,
    acl=ACL,
    success_action_redirect=SUCCESS,
    max_content_length=CONTENT_LENGTH,
    http_method=HTTP_OR_HTTPS,
    fields=None,
    conditions=None,
    storage_class='STANDARD',
    server_side_encryption=None,
    )

form_fields = ""
line = '  <input type="hidden" name="%s" value="%s" >\n'
for item in args['fields']:
    new_line = line % (item["name"], item["value"])
    form_fields += new_line

html_page_data = {
"page_title": PAGE_TITLE,
"action": args["action"],
"input_fields": form_fields,
}

html_page = """
<html> 
 <head>
  <title>%(page_title)s</title> 
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
 </head>
<body>
 <form action="%(action)s" method="post" enctype="multipart/form-data" >
%(input_fields)s
  <!-- Include any additional input fields here -->

  Browse to locate the file to upload:<br \> <br \>

  <input name="file" type="file"><br> <br \>
  <input type="submit" value="Upload File to S3"> 
 </form> 
</body>
</html>
""" % html_page_data

with open(HTML_NAME, "wb") as f:
    f.write(html_page)

success_page = """
<html>
  <head>
    <title>S3 POST Success Page</title>
      <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
      <script src="jquery.js"></script>
      <script src="purl.js"></script>
<!--

    Amazon S3 passes three data items in the url of this page if
        the upload was successful:
        bucket = bucket name
        key = file name upload to the bucket
        etag = hash of file

    The following script parses these values and puts them in
    the page to be displayed.

-->

<script type="text/javascript">
var pname,url,val,params=["bucket","key","etag"];
$(document).ready(function()
{
  url = $.url();
  for (param in params)
  {
    pname = params[param];
    val = url.param(pname);
    if(typeof val != 'undefined')
      document.getElementById(pname).value = val;
  }
});
</script>

  </head>
  <body>
      <div style="margin:0 auto;text-align:center;">
      <p>Congratulations!</p>
      <p>You have successfully uploaded the file.</p>
        <form action="#" method="get"
          >Location:
        <br />
          <input type="text" name="bucket" id="bucket" />
        <br />File Name:
        <br />
          <input type="text" name="key" id="key" />
        <br />Hash:
        <br />
          <input type="text" name="etag" id="etag" />
      </form>
    </div>
  </body>
</html>
"""

with open(SUCCESS_NAME, "wb") as f:
    f.write(success_page)

###### Dump output if testing ######
if DEBUG:

    if 1: # Set true if not using the LEO editor
        class G:
            def es(self, data):print(data)
        g = G()

    g.es("conn = %s" % conn)
    for key in args.keys():
        if key is not "fields":
            g.es("%s: %s" % (key, args[key]))
            continue
        for item in args['fields']:
            g.es(item)
3 голосов
/ 24 августа 2011

Я попытался использовать Boto, но обнаружил, что он не позволяет мне вставить все заголовки, которые я хотел. Ниже вы можете увидеть, что я делаю для генерации политики, подписи и словаря значений в форме сообщения.

Обратите внимание, что все теги x-amz-meta- * являются пользовательскими свойствами заголовка, и они вам не нужны. Также обратите внимание, что почти все, что будет в форме, должно быть в политике, которая кодируется и подписывается.

def generate_post_form(bucket_name, key, post_key, file_id, file_name, content_type):
  import hmac
  from hashlib import sha1
  from django.conf import settings
  policy = """{"expiration": "%(expires)s","conditions": [{"bucket":"%(bucket)s"},["eq","$key","%(key)s"],{"acl":"private"},{"x-amz-meta-content_type":"%(content_type)s"},{"x-amz-meta-file_name":"%(file_name)s"},{"x-amz-meta-post_key":"%(post_key)s"},{"x-amz-meta-file_id":"%(file_id)s"},{"success_action_status":"200"}]}"""
  policy = policy%{
    "expires":(datetime.utcnow()+settings.TIMEOUT).strftime("%Y-%m-%dT%H:%M:%SZ"), # This has to be formatted this way
    "bucket": bucket_name, # the name of your bucket
    "key": key, # this is the S3 key where the posted file will be stored
    "post_key": post_key, # custom properties begin here
    "file_id":file_id,
    "file_name": file_name,
    "content_type": content_type,
  }
  encoded = policy.encode('utf-8').encode('base64').replace("\n","") # Here we base64 encode a UTF-8 version of our policy.  Make sure there are no new lines, Amazon doesn't like them.
  return ("%s://%s.s3.amazonaws.com/"%(settings.HTTP_CONNECTION_TYPE, self.bucket_name),
          {"policy":encoded,
           "signature":hmac.new(settings.AWS_SECRET_KEY,encoded,sha1).digest().encode("base64").replace("\n",""), # Generate the policy signature using our Amazon Secret Key
           "key": key,
           "AWSAccessKeyId": settings.AWS_ACCESS_KEY, # Obviously the Amazon Access Key
           "acl":"private",
           "x-amz-meta-post_key":post_key,
           "x-amz-meta-file_id":file_id,
           "x-amz-meta-file_name": file_name,
           "x-amz-meta-content_type": content_type,
           "success_action_status":"200",
          })

Возвращенный кортеж затем можно использовать для генерации формы, которая отправляет в сгенерированный URL-адрес S3 все пары значений ключа из словаря в качестве скрытых полей и фактическое поле ввода файла, имя / идентификатор которого должно быть «файл». .

Надеюсь, это поможет в качестве примера.

1 голос
/ 31 января 2012

Я боролся с той же самой проблемой, используя почти один и тот же точный код, в течение нескольких дней. (См. Сгенерированная Python подпись для S3 Post ). Просто попытался закодировать мою политику в соответствии с кодом White Box Dev, но все еще не придумал то, что AWS предлагает мне. В конце концов я сдался и использовал ...

http://s3.amazonaws.com/doc/s3-example-code/post/post_sample.html

... и просто вставил возвращаемые значения в форму HTML. Прекрасно работает.

@ Mr. Oodles: если вы храните свой aws_secret_key в отдельном файле, используйте команду bash ls -al, чтобы проверить количество байтов до генерации подписи. Это должно быть 40 байтов длиной. Как указывает White Box Dev, AWS не нравится \ n, и, возможно, вы связываете этот скрытый символ (или возврат каретки или ^ M) со строкой aws_secret_key при ее сохранении ... следовательно, его длина составляет 41 байт. , Вы можете попробовать .replace ("\ n", "") или .rstrip (), чтобы избавиться от него после чтения его в свой сценарий. .Encode ("utf-8") также может работать для вас. Однако ни один из них не работал для меня. Любопытно, если вы используете Python в Windows или Unix ... Вы также можете попробовать использовать emacs для сохранения строки без автоматической вставки \ n вашим редактором.

0 голосов
/ 05 сентября 2011

Попробуйте проверить https://github.com/burgalon/plupload-s3mixin Он сочетает в себе PLUPLOAD с прямой загрузкой S3

...