ETL с использованием AWS Lambda и Redshift

Question

Справочная информация. Я хочу собрать данные из существующей системы для выполнения аналитической обработки.

Существующая система предоставляет конечную точку REST.

Жесткое требование: MVP (минимальный жизнеспособный продукт) => предпочтительная AWS Lambda или что-то более легкое и должно заканчиваться в Redshift, дополнительное хранилище / архивирование не требуется (нет необходимости хранить в S3).

Я планирую использовать AWS Lambda для сбора интервалов, преобразования и сохранения данных в AWS Redshift.

Каков предлагаемый подход:

Soln # 1: AWS Lambda для преобразования + использовать драйвер PostgreSQL для вставки?

Soln # 2: AWS Lambda для преобразования + push toAWS Kinesis => копировать в AWS Redshift?

Есть ли другие решения?

Answer 1

Какой объем данных вам нужно включить в Redshift?Допустим, вы планируете запуск Lambda каждые 30 минут, получаете пакет данных и вставляете его в Redshift, убедитесь, что он может завершиться в течение 15 минут.

Я предпочитаю Lambda -> Kinesis Firehose -> Redshift asэто может масштабироваться лучше.Но если объем небольшой или стоимость является фактором, то вы # 1 также хороший выбор.