Специальные регулярные выражения для этой формулы в Python

Question

Я пытаюсь создать регулярное выражение, соответствующее этому файлу в моем хранилище s3.Это для ключа S3, который я пытаюсь создать, и, очевидно, сейчас он не найден правильно.Ниже я предоставил снимок сегмента пути / папки, к которой я пытаюсь получить доступ с помощью этого уравнения регулярного выражения.

Еще раз это для ключа s3, ниже я также опубликую часть кодаЯ использую.То, на что я ссылаюсь, находится внутри оператора try.

class process_raw_snowplow_event_data(luigi.Task):
    dataset_date = luigi.DateParameter(default=date.today() - timedelta(days=1))
    # force_run = luigi.BoolParameter()
    _start = luigi.DateSecondParameter(default=datetime.utcnow())
    file_root = luigi.Parameter()


def download_s3_file(self, s3_filename):

    local_filename = "/Users/xxx/etl/%s" % s3_filename

    s3_file_full_path =re.compile("snowplow-enrich-output/enriched/archive/run=" + self.dataset_date.strftime("%Y-%m-%d") +r"-\d{2}-\d{2}-\d{2}/*.")


    try:
        s3.download_file(Bucket=os.environ.get('SP_BUCKET'), Key=s3_file_full_path, Filename=local_filename)
    except Exception as e:
        logger.error("%s - Could not retrieve %s because: %s" % ("download_s3_file()", s3_filename, e))
        raise

Ошибка:

Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/luigi/worker.py", line 199, in run
new_deps = self._run_get_new_deps()
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/luigi/worker.py", line 139, in _run_get_new_deps
task_gen = self.task.run()
  File "target.py", line 123, in run
infile_name = self.download_s3_file(s3_filename)
  File "target.py", line 47, in download_s3_file
s3.download_file(Bucket=os.environ.get('SP_BUCKET'), Key=s3_filename, Filename=local_filename)
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/boto3/s3/inject.py", line 172, in download_file
extra_args=ExtraArgs, callback=Callback)
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/boto3/s3/transfer.py", line 307, in download_file
future.result()
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/s3transfer/futures.py", line 73, in result
return self._coordinator.result()
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/s3transfer/futures.py", line 233, in result
raise self._exception
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/s3transfer/tasks.py", line 255, in _main
self._submit(transfer_future=transfer_future, **kwargs)
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/s3transfer/download.py", line 353, in _submit
**transfer_future.meta.call_args.extra_args
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/botocore/client.py", line 314, in _api_call
return self._make_api_call(operation_name, kwargs)
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/botocore/client.py", line 612, in _make_api_call
raise error_class(parsed_response, operation_name)
botocore.exceptions.ClientError: An error occurred (404) when calling the HeadObject operation: Not Found

Спасибо вам всем

Answer 1

S3.Client.download_file не поддерживает аргумент Key, который является регулярным выражением. ¹

s3_file_full_path оценивает объект, подобный приведенному ниже

re.compile(r'snowplow-enrich-output/enriched/archive/run=2019-02-24-\d{2}-\d{2}-\d{2}/*.',
re.UNICODE)

Ни один объект в снимке вашего сегмента не является такимпо имени.

Единственный способ сделать это - перечислить объекты корзины и сопоставить их ключи с вышеуказанным объектом регулярного выражения. ²

Вышеупомянутое регулярное выражение похоже на перечисление объектов с ключами с префиксом имен как 'snowplow-enrich-output/enriched/archive/run=2019-02-24-'

list_object_kwargs = {
    'Bucket': os.environ.get('SP_BUCKET'),
    'Prefix': 'snowplow-enrich-output/enriched/archive/run=2019-02-24-'
}

def object_keys(contents):
    return [content['Key'] for content in contents]

objects = s3.list_objects_v2(**list_object_kwargs)
found_object_keys = object_keys(objects['Contents'])

while objects['IsTruncated']:
    objects = s3.list_objects_v2(
        ContinuationToken=objects['ContinuationToken'],
        **list_object_kwargs
    )
    found_object_keys.extend(object_keys(objects['Contents']))

try:
    for key in found_object_keys:
        s3.download_file(
            Bucket=os.environ.get('SP_BUCKET'), 
            Key=key)
except Exception as e:
    logger.error(
        "Could not retrieve %s because: %s" % (key, e))
    raise