Может кто-нибудь помочь мне решить эту проблему?
Как мы можем предоставить доступ к группе на столе в базах данных вместо предоставления доступа каждому отдельному пользователю?
Если я правильно понимаю ваши потребности, я бы создал группу в IAM с политикой, предоставляющей доступ к таблице RDS. Затем добавьте нужных пользователей в эту группу.
См. https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/UsingWithRDS.IAMDBAuth.IAMPolicy.html