CloudFormation используется для создания инфраструктуры (например, Базы данных, экземпляры EC2, сети).
Его нельзя использовать для определения данных, загружаемых в базу данных. Для этого вам потребуется запустить некоторый код, который вызывает API-интерфейс DynamoDB и загружает данные.
Если вы хотите sh запустить это действие из шаблона CloudFormation, используйте Пользовательский ресурс для запуска AWS лямбда-функции. Затем закодируйте функцию Lambda для загрузки данных в таблицу DynamoDB.