Как указать конфигурацию S3 для пакета Spectrify Python?

Question

как указать этот s3_config объект для пакета python spectrify?

from spectrify.export import RedshiftDataExporter
RedshiftDataExporter(sa_engine, s3_config).export_to_csv('my_table')

Answer 1

Документация для пакета Spectrify невелика, но быстрое чтение кода и примеры покажут, что s3_config может быть экземпляром S3Config или SimpleS3Config, оба определены в пакете Spectrify.Вот пример :

csv_path_template = 's3://my-bucket/my-table/csv/{start.year}/{start.month:02d}/{start.day:02d}'
spectrum_path_template = 's3://my-bucket/my-table/spectrum/partition_key={start}'

# Construct a S3Config object with the source CSV folder and
# destination Spectrum/Parquet folder on S3.
csv_path = csv_path_template.format(start=start_date)
spectrum_path = spectrum_path_template.format(start=start_date)
s3_config = SimpleS3Config(csv_path, spectrum_path)