Портирование использования s3curl.pl в Python - PullRequest
Новая
       33

Портирование использования s3curl.pl в Python

0 голосов
/ 13 декабря 2018

Я выполняю команду cmd: 

~/s3curl/s3curl.pl --id mapreduce -- -sf https://$SERVER/$PATH >> $TEMP_FILE

И я хочу перенести свой скрипт на Python.

Я попытался: 

import boto3
client = boto3.client('s3')
response = client.get_object(Bucket=<server>, Key=<path>)

НоЯ получаю сообщение об ошибке: 

botocore.exceptions.ClientError: An error occurred (AllAccessDisabled) when calling the GetObject operation: All access to this object has been disabled

Что я делаю не так?

Спасибо!

1 Ответ

0 голосов
/ 17 января 2019

Получается, что файл с именем .s3curl находится в том же каталоге с s3curl.pl, который содержит идентификатор пользователя и ключ шифрования.

Я перевел его в файл yaml с именем s3.yamlкоторый содержит: 

awsSecretAccessKeys:
  mapreduce:
    id: <insert id here>
    key: <insert key here>

И решение Pythonic: 

def download_file_from_s3(s3_server, path, export_path):
    url = s3_server + path
    with open('s3.yaml') as f:
        s3_conf = yaml.load(f.read())['awsSecretAccessKeys']['mapreduce']

    now = datetime.now().strftime('%a, %d %b %Y %H:%M:%S +0000')
    to_sign = 'GET\n\n\n{}\n{}'.format(now, path)
    signature = hmac.new(s3_conf['key'], to_sign, sha1).digest().encode("base64").rstrip('\n')
    response = requests.get(url, headers={'Date': now, 'Authorization': 'AWS {}:{}'.format(s3_conf['id'], signature)})

    response.raise_for_status()

    with open(export_path, 'ab') as f:
        for block in response.iter_content(4096):
            f.write(block)
...