Импорт данных из S3 в динамо с использованием лямбды - PullRequest
0 голосов
/ 12 мая 2018

Если у меня есть файл 1GB в формате JSON на S3.Мне нужна лямбда-функция, которая имеет более 1 ГБ памяти для загрузки всего файла за один раз?

Я хотел бы преобразовать ее с помощью лямбды, а затем поместить ее в таблицу DynamodB.

Формат json для многих файлов:

[
 {
   //data
 },{
   // Data again
 }
]

Так что это массив элементов данных, которые будут загружены с Golang.Другой вариант - разделить большой файл на файлы размером 100 МБ, например, у меня будет около 100 файлов, так как существует много файлов 1 ГБ.Не уверенный в том, что наилучшее решение будет доступно прямо сейчас, это произойдет только один раз при начальной миграции.

...