Можете ли вы просто обратиться к файлам Parquet в Spark RDD и попросить рабочих поместить записи в DynamoDB? Игнорирование проблемы кэширования клиента DynamoDB на каждом рабочем месте для повторного использования в разных строках, это немного скала, чтобы взять строку, создать запись для динамо и PUT, чего должно быть достаточно.
Кстати: используйте здесь DynamoDB по требованию, поскольку он хорошо справляется с пиковыми нагрузками без необходимости выполнения каких-либо соглашений об уровне обслуживания.