Bash Script для копирования одного файла 100 раз из одной корзины S3 в другую параллель

Question

Я хотел бы создать сценарий оболочки, который сможет копировать один файл размером 2 ГБ из одного AWS S3 Bucket в другое AWS S3 Bucket 100 раз параллельно.

#!/bin/bash 
FILES="xxx.csv" 
TABLES="table1 table2 table3 table4 table5" 
SOURCE="s3://SourceBucket" 
TARGET_PREFIX="s3://TargetBucket/" 
echo "Uploading from $SOURCE" 
for 
table in $TABLES 
do 
echo "Table: $table" 
for file in $FILES 
do TARGET="$TARGET_PREFIX/$table/$TARGET_PART" 
echo "Uploading $file to INGEST Bucket" 
aws s3 cp $SOURCE/$file $TARGET --sse "AES256" 
done 
done

Answer 1

Похоже, ваша цель - измерить производительность сети для данного экземпляра Amazon EC2 .Вместо того, чтобы писать это самостоятельно, вы можете воспользоваться инструментами, созданными другими людьми.

Если вы хотите измерить пропускную способность между двумя экземплярами Amazon EC2 в одном и том же VPC, вы можете использоватьiperf.

Подробнее см .: Сравнительная пропускная способность сети между экземплярами Amazon EC2 Linux в одном и том же VPC

Если вы хотите измерить производительность междуAmazon EC2 и Amazon S3 , вы можете использовать dvassallo / s3-benchmark: измерять производительность Amazon S3 из любого места .

Для обсуждения Reddit по этому инструменту см .: Пропускная способность S3 от каждого типа EC2: программирование