Экспорт существующих элементов DynamoDB в Lambda Function - PullRequest
1 голос
/ 05 апреля 2019

Существует ли какое-либо управляемое решение AWS, которое позволило бы выполнять миграцию данных с использованием DynamoDB в качестве источника и лямбда-функции в качестве приемника?

Я настраиваю Lambda для обработки DynamoDBпотоков, и я хотел бы иметь возможность использовать ту же самую лямбду для обработки всех существующих элементов, а не переписывать ту же логику в задании Spark или Hive для AWS Glue, Data Pipeline или Batch.(Я согласен с тем, что входные данные для Lambda отличаются от записи потока DynamoDB - я могу справиться с этим в моей Lambda - я просто пытаюсь избежать повторной реализации моей бизнес-логики в другом месте.)

IЯ знаю, что могу создать свою собственную настройку для запуска полного сканирования таблицы, но я также стараюсь избегать любых недифференцированных тяжелых работ.

Редактировать: Одна возможность состоит в том, чтобы обновить все элементы в DynamoDB так, чтобы это вызывало событие DynamoDB Stream.Однако мой вопрос все еще остается: есть ли управляемый сервис AWS, который может сделать это для меня?

1 Ответ

0 голосов
/ 06 апреля 2019

Вы можете создать новый поток данных кинезиса. Добавьте это как триггер к вашей существующей лямбда-функции . Создайте новую простую лямбда-функцию , которая сканирует всю таблицу и помещает записи в этот поток. Вот и все.

Ваша бизнес-логика остается в исходной функции. Вы отправляете существующие данные из DynamodB в эту функцию через Kinesis.

Ссылка: https://aws.amazon.com/blogs/compute/indexing-amazon-dynamodb-content-with-amazon-elasticsearch-service-using-aws-lambda/

...