Amazon Kinesis Firehose для S3

Question

Меня попросили написать код для отправки файла .csv на S3 с помощью Amazon Kinesis Firehose. Но как человек, который никогда не использовал Kinesis, я понятия не имею, как мне это сделать. Вы можете помочь с этим, или если у вас есть код, который выполняет эту работу, он также может помочь (Java или Scala).

Данные CSV должны быть отправлены в Kinesis Firehose для записи в корзину S3 в формате gzip с помощью клиентского приложения Firehose.

Заранее спасибо.

Answer 1

Во-первых, Firehose выполняет потоковую передачу для отправки записи (или записей) в пункт назначения, а не для передачи файлов, таких как копирование файла CSV на S3. Вы можете использовать команды S3 CLI, если вам нужно скопировать файлы откуда-то в S3.

Поэтому, пожалуйста, сначала убедитесь, что вам нужно потоковое воспроизведение или копирование файла. Если он не потоковый, то мне интересно, почему Firehose.

Существует несколько источников входного сигнала, которые вы можете использовать. Сначала лучше определитесь, какой способ использовать.

Если вы используете JAVA + AWS SDK, то, вероятно, вызов API PutRecord будет таким способом

• Запись в пожарный шланг данных Kinesis с использованием AWS SDK
• aws -sdk-java / src / samples / AmazonKinesisFirehose /
• Перенос данных в поток доставки Amazon Kinesis Firehose с использованием Spring Boot

Если вы можете использовать AWS Amazon Linux для отправки данных в Firehose, Firehose Agent будет проще. Он просто отслеживает файл и может отправлять дельты на S3.

• введите описание ссылки здесь