вам нужно указать тип фильтра, поэтому в этом случае это будет тег. filters = [{'Name':'tag:OS_Name', 'Values':['Rstudio']}]
из boto3 документов
тег: - комбинация ключ / значение тега, назначенного ресурсу. Используйте ключ тега в имени фильтра и значение тега в качестве значения фильтра. Например, чтобы найти все ресурсы, имеющие тег с ключом Owner и значением TeamA, укажите тег: Owner для имени фильтра и TeamA для значения фильтра.